一直以来,Smartbi回馈用户的最好方式是提供更好的产品和更好的服务。V9作为Smartbi最新发布的版本,众多实用功能就是从用户的实际情况出发,急用户之所急,想用户之所想。从今天开始,小麦会用系列文章和大家一起分享。本期介绍V9在【数据准备】方面的一些新功能亮点。
分批次和多线程并发,提高数据抽取效率
之前的Smartbi版本,数据抽取存在以下两种情况:
1、一次性将所有数据从数据库写入到缓存库中,在数据量较大的情况下,会出现占用内存太大的问题。V9支持分批次将数据写入到缓存库中,既能保证查询速度又避免占用太大内存,达到最高效率;
2、当抽取亿级数据量时,如果为单线程抽取,容易出现抽取缓慢,抽取不成功甚至环境崩溃的情况。V9增加多线程并发抽取,在用户抽取较大数据量时,可设置多线程并发抽取。以Smartbi从MPP抽取1亿条数据为例,单线程抽取需要耗时2.5小时,设置10个线程进行抽取时,仅需48分钟,速度提升了3倍。
支持各种数据集的增量抽取,避免资源浪费
之前的版本,只有自助数据集支持增量抽取。V9除了自助数据集,对可视化数据集、原生SQL数据集、SQL数据集、存储过程数据集、Java数据集等也支持增量抽取。在“抽取设置界面”中的“增量抽取按时间戳”选项可进行设置。
支持MPP集群抽取,适用性进一步增强
当高速缓存库连接的驱动程序类型是“SmartbiMPP”时,V9支持集群抽取。在“抽取设置”界面增加“高级设置”,对“分区字段”和“分区类型”进行设置。其中,分区字段要求为日期类型。
支持自定义表名,查找更加直观
之前的版本,数据集和即席查询抽取保存在高速缓存库的表,默认以“数据集ID”作为表名称,“数据集名称”作为表别名,在数据库查看表时,以数据集ID作为表名称,不利于用户直观查找需要的表。V9支持数据集和即席查询抽取保存在高速缓存库的表自定义表名。
时间管理增加维度,满足各种统计周期
业务人员经常需要做统计分析报表,如月汇报、周汇报等。为了满足更多维度的统计分析,V9维度管理增加支持“半年”“旬”“周”。 其中,“半年”的显示格式为:上半年、下半年;“旬”为:上、中、下;“周”为:Www(W不变,就是一个字母,ww标识第几周,如2019年第一周为:2019-W01。
提供标准函数检验,减少数据抽取报错
之前的版本自助数据集计算字段支持的函数是根据其所属数据库类型决定的,这种方式会存在函数不兼容的问题,导致在抽取时报SQL错误。针对这一弊端,也结合产品的使用,V9基于SQL92为标准,封装一套Smartbi自身的函数语法,用于适配Smartbi所支持的数据库,校验输入的函数是否在提供的函数列表中。如果函数不在函数列表中,则会提示该函数不是标准函数库语法,在其他数据库可能无法使用。
除了以上介绍的新功能点,Smartbi V9在【数据准备】方面还有很多小优化。如自助数据集的数据来源为“hana数据源”时,自助数据集支持其所带参数;增加“多维数据集”作为自助数据集的数据来源;数据集的抽取日志采取分页加载等等,大家有兴趣可以登录V9体验中心进行试用,亲自感受V9的全新UI、全新功能。
V9体验中心:PC登录官网->体验中心
概括如下:
1、 分批次读数据和多线程并发抽取
2、 支持各种数据集的增量抽取
3、 支持MPP集群抽取
4、 抽取支持自定义表名
5、 时间维度管理增加“半年”“旬”“周”
6、 提供标准函数检验
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
2023年6月1日至4日,第三届全国生物相分离和相变学术研讨会暨中国生物物理学会生物大分子相分离与相变分会年会在上海成功举办,荣联科技集团携冷冻电镜数据分析整体解决方案亮相活动,云生数据副总经理田凤进行了精彩的报告分享。本次盛会由中国生物物理学会生物大分子相分离与相变分会主办,中国科学院上海有机化学
中国经济周刊-经济网讯(记者宋杰)4月27日,第六届数字中国建设峰会在福州开幕,同期举行的还有数字中国建设成果展览会,本届峰会以“加快数字中国建设,推进中国式现代化”为主题,集中展示数字中国建设最新成果和优秀实践案例,分享发展经验。其中,作为央企中国电科集团旗下的数据库国家队,人大金仓今年展出面积从
如今,诸多企业开始进入数据应用阶段,开始追求数据对业务的实质性提升。然而,一些企业虽然认识到了数据的价值,却由于缺乏一套高效好用的数据分析工具,导致数据应用效果并不理想。在一些企业中,尤其是中小企业,由于缺乏预算,仍然在使用Excel等传统工具进行数据分析和可视化展现,需要手动整合和处理数据,耗时耗
数据收集的操作行为受到越来越多的关注,也变得越来越复杂。网络抓取以及自动获取过程总体来说极大地改变了数据收集的性质,旧的挑战得到解决,而新的问题也随之浮现出来。
近日,由中国团队研发的“一种基于共享内存和多进程的支持高并发的分布式数据库架构”通过美国商标专利局审查核准。这是易鲸捷年内第三次获得美国商标专利局授权专利,再次验证了易鲸捷多年来在分布式数据库领域的自研成果
把脉中国数据智能化
2023年,几乎可以被定义为中国互联网公司的“大模型元年”。ChatGPT的全球爆红,彻底点燃国内的大模型赛道,曾经的“创业英雄”、如今的商业领袖们亲自下场,接连发布生成式人工智能产品与大模型布局。大模型火了,沉寂许久的互联网行业又有了新的“战事”。同时,大模型的快速发展也改变了云市场的现状,企业对
近日,数字化市场研究咨询机构爱分析发布了《2022爱分析·数据智能厂商全景报告》,爱分析从技术研发能力、服务客户数量、收入规模等维度对厂商进行了全面专业的评估
2022年11月18日,首个国家级大数据产业创新赛事——2022第一届中国大数据大赛圆满落幕。工业和信息化部信息技术发展司数字经济推进处处长张建伦,中国电子技术标准化研究院副院长孙文龙出席颁奖典礼并致辞
2022年11月17日,在厦门市工业和信息化局的指导下,以“数据确权”为主题的2022数据资产(厦门)论坛在厦门成功举办。本次论坛以“数据确权”为主题,由厦门市互联网域名应用服务产业协会和构信网(公信.中国)联合主办
近日,国内知名数字化市场研究咨询机构爱分析正式发布《2022爱分析·信创厂商全景报告》(以下简称“报告”)。报告综合考虑企业关注度、行业落地进展等因素,遴选出在信创市场中具备成熟解决方案和落地能力的厂商。
10月31日下午,由数博会执委会主办、数据观(北京)传媒科技有限公司承办、贵阳大数据交易所协办的第四期数博思享会“实践先行观公共数据价值与应用”活动成功举办。
近日,由中国国际数字经济博览会组委会主办,中国电子技术标准化研究院、河北省工业和信息化厅承办的“第一届中国大数据大赛”(简称大数据大赛)正式启动。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台