1. 创业头条
  2. 前沿领域
  3. 大数据
  4. 正文

急用户之所急,想用户之所想——Smartbi V9新功能介绍(二)

 2019-11-19 15:31  来源:互联网  我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

一直以来,Smartbi回馈用户的最好方式是提供更好的产品和更好的服务。V9作为Smartbi最新发布的版本,众多实用功能就是从用户的实际情况出发,急用户之所急,想用户之所想。从今天开始,小麦会用系列文章和大家一起分享。本期介绍V9在【数据准备】方面的一些新功能亮点。

分批次和多线程并发,提高数据抽取效率

之前的Smartbi版本,数据抽取存在以下两种情况:

1、一次性将所有数据从数据库写入到缓存库中,在数据量较大的情况下,会出现占用内存太大的问题。V9支持分批次将数据写入到缓存库中,既能保证查询速度又避免占用太大内存,达到最高效率;

2、当抽取亿级数据量时,如果为单线程抽取,容易出现抽取缓慢,抽取不成功甚至环境崩溃的情况。V9增加多线程并发抽取,在用户抽取较大数据量时,可设置多线程并发抽取。以Smartbi从MPP抽取1亿条数据为例,单线程抽取需要耗时2.5小时,设置10个线程进行抽取时,仅需48分钟,速度提升了3倍。

支持各种数据集的增量抽取,避免资源浪费

之前的版本,只有自助数据集支持增量抽取。V9除了自助数据集,对可视化数据集、原生SQL数据集、SQL数据集、存储过程数据集、Java数据集等也支持增量抽取。在“抽取设置界面”中的“增量抽取按时间戳”选项可进行设置。

支持MPP集群抽取,适用性进一步增强

当高速缓存库连接的驱动程序类型是“SmartbiMPP”时,V9支持集群抽取。在“抽取设置”界面增加“高级设置”,对“分区字段”和“分区类型”进行设置。其中,分区字段要求为日期类型。

支持自定义表名,查找更加直观

之前的版本,数据集和即席查询抽取保存在高速缓存库的表,默认以“数据集ID”作为表名称,“数据集名称”作为表别名,在数据库查看表时,以数据集ID作为表名称,不利于用户直观查找需要的表。V9支持数据集和即席查询抽取保存在高速缓存库的表自定义表名。

时间管理增加维度,满足各种统计周期

业务人员经常需要做统计分析报表,如月汇报、周汇报等。为了满足更多维度的统计分析,V9维度管理增加支持“半年”“旬”“周”。 其中,“半年”的显示格式为:上半年、下半年;“旬”为:上、中、下;“周”为:Www(W不变,就是一个字母,ww标识第几周,如2019年第一周为:2019-W01。

提供标准函数检验,减少数据抽取报错

之前的版本自助数据集计算字段支持的函数是根据其所属数据库类型决定的,这种方式会存在函数不兼容的问题,导致在抽取时报SQL错误。针对这一弊端,也结合产品的使用,V9基于SQL92为标准,封装一套Smartbi自身的函数语法,用于适配Smartbi所支持的数据库,校验输入的函数是否在提供的函数列表中。如果函数不在函数列表中,则会提示该函数不是标准函数库语法,在其他数据库可能无法使用。

除了以上介绍的新功能点,Smartbi V9在【数据准备】方面还有很多小优化。如自助数据集的数据来源为“hana数据源”时,自助数据集支持其所带参数;增加“多维数据集”作为自助数据集的数据来源;数据集的抽取日志采取分页加载等等,大家有兴趣可以登录V9体验中心进行试用,亲自感受V9的全新UI、全新功能。

V9体验中心:PC登录官网->体验中心

 

 

概括如下:

1、 分批次读数据和多线程并发抽取

2、 支持各种数据集的增量抽取

3、 支持MPP集群抽取

4、 抽取支持自定义表名

5、 时间维度管理增加“半年”“旬”“周”

6、 提供标准函数检验

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
数据库
数据分析

相关文章

  • 全国生物相分离和相变学术研讨会圆满落幕 荣联科技集团亮相顶尖学术盛会

    2023年6月1日至4日,第三届全国生物相分离和相变学术研讨会暨中国生物物理学会生物大分子相分离与相变分会年会在上海成功举办,荣联科技集团携冷冻电镜数据分析整体解决方案亮相活动,云生数据副总经理田凤进行了精彩的报告分享。本次盛会由中国生物物理学会生物大分子相分离与相变分会主办,中国科学院上海有机化学

    标签:
    数据分析
  • 数据库“国家队”人大金仓亮相数字中国建设峰会

    中国经济周刊-经济网讯(记者宋杰)4月27日,第六届数字中国建设峰会在福州开幕,同期举行的还有数字中国建设成果展览会,本届峰会以“加快数字中国建设,推进中国式现代化”为主题,集中展示数字中国建设最新成果和优秀实践案例,分享发展经验。其中,作为央企中国电科集团旗下的数据库国家队,人大金仓今年展出面积从

    标签:
    数据库
  • 有哪些免费且强大的数据分析BI工具?

    如今,诸多企业开始进入数据应用阶段,开始追求数据对业务的实质性提升。然而,一些企业虽然认识到了数据的价值,却由于缺乏一套高效好用的数据分析工具,导致数据应用效果并不理想。在一些企业中,尤其是中小企业,由于缺乏预算,仍然在使用Excel等传统工具进行数据分析和可视化展现,需要手动整合和处理数据,耗时耗

    标签:
    数据分析
  • Oxylabs 首席执行官:了解静态和动态数据

    数据收集的操作行为受到越来越多的关注,也变得越来越复杂。网络抓取以及自动获取过程总体来说极大地改变了数据收集的性质,旧的挑战得到解决,而新的问题也随之浮现出来。

    标签:
    数据分析
  • 易鲸捷再获分布式数据库国际专利 为数据核心技术发展贴上中国标签

    近日,由中国团队研发的“一种基于共享内存和多进程的支持高并发的分布式数据库架构”通过美国商标专利局审查核准。这是易鲸捷年内第三次获得美国商标专利局授权专利,再次验证了易鲸捷多年来在分布式数据库领域的自研成果

编辑推荐