前不久,青云科技(qingcloud.com,股票代码:688316)发布了青云大数据工作台,旨在通过整合其完整的数据产品和服务,为客户提供一个一站式智能大数据开发与治理平台,打通大数据全链路,盘活数据价值。
上个月,在2022中国国际大数据产业博览会上,工信部部长肖亚庆表示,“十三五”时期我国大数据产业年均复合增长率超过30%,2021年产业规模突破了1.3万亿元,大数据产业链初步形成。大数据应用从互联网、金融、电信等领域逐步向智能制造、数字社会,数字政府等领域拓展,极大丰富了我国数据资产,催生了一批新场景、新模式、新业态。
诚然,大数据不仅是推动AI、物联网等技术应用的源头活水,更是数字化时代的宝贵信息资产,其价值并不在于规模庞大的数据信息,而是在于对这些有意义的数据进行专业化处理。曾有人将数据比喻为蕴藏能量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。类比来看,大数据的价值也并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。
打通链路 盘活价值
回顾国内大数据产业近年来的发展,自2015 年国务院正式印发《促进大数据发展行动纲要》起,其便已经正式上升到了国家战略层面。在随后的几年中,伴随新型智慧城市和数字城市建设热潮,各地与大数据和数字经济相关的园区加速落地,大数据产业规模也在持续增长。
同时,随着AIoT、云时代的来临,越来越多的企业意识到了大数据的重要性。而在实际数据应用中,企业数据流链路中隐藏的痛点逐一显现——数据链路冗长、各平台间数据流转不及时、大数据使用门槛高等。换言之,如果没有一套完整的系统保证整条链路的高效运转,是很难保证最终从数据中提炼出来有价值的信息和知识的。
针对于此,青云科技发布了青云大数据工作台,旨在通过整合其完整的数据产品和服务,为客户提供一个一站式智能大数据开发与治理平台,打通大数据全链路,盘活数据价值。
青云QingCloud大数据产品经理刘雄风介绍,2014年-2018年,青云科技在广度上实现了数据产品和服务的全覆盖,2018年至今,青云科技在深度上,对产品性能、服务质量、服务范围进行了全方位提升。目前,青云科技已经推出了近30款数据产品和服务,同时集成优秀的合作伙伴应用,形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态。
同时,在其数据产品、服务与解决方案落地应用过程中,青云科技了解到,客户的需求正在逐步升级——从最初的“底层资源”问题,逐步进阶到“数据层”问题,主要体现在数据开发和作业运维调度、数据实时计算、数据同步等方面。所以,客户需要能把数据价值盘活和利用起来的平台。
基于客户需求的升级,青云科技推出了青云大数据工作台,可以降低大数据使用门槛,将代码开发降到最低,让非技术人员也能进行大数据分析,实现数据在云平台各产品之间快速流转,支撑上层业务,消除企业“数据孤岛”,实现数据的统一调度和计算,从而进一步帮助企业挖掘数据价值,提升整体的数据洞察能力。
一站式智能大数据开发与治理平台
目前,青云大数据工作台已上线1.0版本,主要具备“数据集成、数据加工、统一数据存储和服务”功能模块,从最底层到最上层分为五层架构——云原生、全托管式计算引擎、全生命周期数据开发、高效的数据同步服务、应对丰富的业务场景。
具体到功能层面:
第一,数据上云:可以提供本地数据源上云服务,支持结构化、非结构化、半结构化的数据,可将数据安全地同步到云端,后续计算在云端完成,充分解放了企业的服务器压力。
第二,数据开发:在云上的大数据开发环境,将数据进行加工,支持实时处理、离线批量处理。根据业务需求,客户还可以选择“可视化算子拖拽、界面化SQL 开发、Jar 包提交”三种方式构建数据开发任务,满足多维度的开发者的任务构建。
第三,数据同步:将处理完的结果数据,根据数据特性,存储在不同的存储介质中,以便使用。数据源可以是消息队列 Kafka、数据库 MySQL 等,目标数据源可以是消息队列 Kafka、数据库 MySQL、数据分析引擎 Elasticsearch等。
第四,作业运维调度:大数据处理的核心是运行在Flink集群上的任务。青云大数据工作台自主研发的调度和任务管理模块,可以同时根据任务维护和资源分配维度分别监控,实时跟踪计算资源饱和度,提醒企业根据需求调整计算资源,助力全流程高并发处理。
第五,引擎资源管理:提供云端全托管Flink集群,几分钟完成计算集群部署;具备云原生弹性扩容能力,节省资源,提高资源利用率;提供细粒度资源管控,最小资源使用粒度仅 0.5 CU,精细化资源管控;支持按量和包年包月计费,适配不同需求,价格低廉,安全稳定。
未来,青云大数据工作台还将持续迭代,聚焦在数据治理、数据资产、优化体验等层面。
基于完备的架构与功能,青云大数据工作台可以轻松应对中小型互联网或移动互联网客户较为关心的精细化运营分析场景、以智慧工厂为代表的实时计算场景、以科研数据为基础的可视化开发与运维场景以及构建数仓场景。
刘雄风指出,青云大数据工作台目前主要聚焦在以物联网和工业大数据为代表的的新兴领域。其中,在工业领域,随着不断细密度的政策迭代,推动工业大数据的全面采集、工业设备互联互通速度加快,青云科技将在物料能耗优化、产线效率分析、故障定位、出库物流追踪、库存优化及产品质量追溯等方面,进行大数据的深入实时分析、计算等。
值得一提的是,青云科技所提供的方案不局限于大数据工作台的单一产品,而是与青云科技的KubeSphere容器平台、IoT平台形成合力,组建了“大数据工作台+KubeSphere+IoT”三位一体的技术方案。
“青云大数据工作台+KubeSphere+IoT”三位一体技术方案
在架构上,该方案的最上层是物联网平台,中间是大数据工作台,最底层是容器平台。首先,青云科技通过容器平台进行资源的保障,提供按需使用、弹性伸缩、一键扩容、在线运维的功能保障;其次,大数据工作台可以提供数据处理的能力,结合消息中间件、数据仓库、数据服务等云原生的产品组件,从横向数据流方面提供一站式的数据实时处理和输出能力;最后,在物联网层形成“云、网、边、端”统一管理、统一数据采集和统一边缘控制。
如今,该方案已在不同领域实现了成熟落地。以某行业领先的工业自动化测试设备与整线系统解决方案提供商为例,其数据源涵盖多个维度,生产数据包括机加工设备、物联网系统中的SMT设备和AGV设备、立库等,未来还计划引进质量监测设备;运营数据则包括了水电气、空调供暖、给排水、门闸、温湿度以及各类楼宇/园区的运营信息。所以,客户需要统一的数据接收和存储、统一的数据API服务,需要建设统一的“物联网+大数据”平台。
该方案则可以应对这一难题,由IoT平台进行“云、网、边、端”的数据源统一控制,客户可以将数据通过消息中间件进行统一传输,传输到大数据工作台上再做原始库数据集成的操作。数据存储到原始数据库后,客户可将原始库单独对外提供数据权限、数据存储和数据查询服务。对于原始库存储的数据,客户还能进行数据的二次加工,形成最终结果库,结果库同样可以对外提供数据权限、数据存储和数据查询的服务。
结语
AIoT时代下,数据的重要性无需赘述,而其价值绝不仅仅是停留在量级,而是隐藏在应用之中。也正因如此,越来越多的企业开始重视业务与运营之中的大数据管理、应用,客户需求更加明确——“客户需要端到端的全链路解决方案,而不是简单地堆积一些大数据产品组件”。换言之,构建高效的数据流链路才能进一步挖掘数据流背后的实际价值。青云大数据工作台的出现,无疑全面满足了这一需求,激活企业数据资产,释放数据价值。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
7月14日,以“夯实产业基础深耕行业应用”为题的“2022(第二届)中国大数据产业创新大会”在北京成功举办,荣联科技集团携子公司云生数据共同参会,并斩获两项大奖。
随着国家大数据战略深入实施和浙江省数字化改革快速推进,通过政企数据融合应用实现数字赋能,推动创新发展,已成为社会研究的热点和民生关注的焦点。
随着大数据、云计算时代的到来,各行业信息化建设的不断提升,信息化下的各个系统不再单独处理各自业务,而是趋于协同工作,因此,时间同步系统作为整个信息化建设中的基准系统愈发重要。
近日,赛尔新技术公司北清路核心机房顺利通过验收,并获得数据中心国家标准最高等级——增强级(A级)证书。这标志着下一代互联网及重大应用技术创新园高算力IPv6核心数据中心已正式启用,成为满足园区创新发展和下一代互联网产业需求的优质基础设施
数字经济时代,多样性计算的发展如同快速建设的城市新区,不久前还是一片荒地,短短几年路已经修通、高楼拔地而起,一片即将繁荣的城市景象。
2022年8月10-12日,2022中国地理信息产业大会在合肥举行。易智瑞信息技术有限公司总裁何宁受邀参加了中国地理信息产业大会开幕式和“首届中国地理信息高新技术成果展”开幕式。
2022年8月3日至4日,以“激发数据潜能共赢数字未来”为题的2022(第七届)大数据产业生态大会在北京成功举办。荣联科技集团作为国内领先的数字化服务提供商参加此次盛会,获得“2022大数据企业50强
近日,2022(第七届)大数据产业生态大会通过“现场论道+云端连线”的方式胜利召开,本届大会以“激发数据潜能共赢数字未来”为主题,由由工信部赛迪研究院指导,赛迪传媒、大数据产业生态联盟
大数据产业生态大会举办至今已是第七届,始终坚守分享前沿思考、探讨大数据产业发展的初心,邀请各领域的专家、企业领袖、知名投资人一起为大数据产业繁荣发展建言献策。本届盛会同样菁英齐聚,围绕大数据技术创新、应用实践与产业发展前景等热点话题发表见解,探索新路径
8月3日,2022(第七届)大数据产业生态大会上,由大数据产业生态联盟联合赛迪顾问、赛迪智库、《软件和集成电路》杂志社共同编制的《2022中国大数据产业生态地图暨中国大数据产业发展白皮书》(简称:白皮书)重磅发布。
尔科技与中国技术研究中心有限公司、南开大学、中国环境科学研究院、中汽研汽车检验中心(天津)有限公司以及中汽科技(北京)有限公司共同申请的“基于多源大数据的柴油车综合管控技术研究”成果于7月20日由中国环境保护产业协会鉴定委员会一致认为
根据咨询公司Gartner的定义,企业的数字化转型分为三个阶段,第一阶段是电子化,第二阶段是数字化,第三阶段是数字化改革,国内也称其为数智化。其中数字化改革进程中,以大数据、云端计算的产品服务为其主要必经路径。
7月24日上午,伴随着2022年数字中国创新大赛(简称2022DCIC)大数据赛道·能源大数据子赛道方案赛决赛现场的激烈角逐结束,大数据赛道九大赛题最后一个一等奖奖项产生。
伴随着5G、大数据、人工智能、物联网等技术的飞速发展,各行各业的业务场景日益复杂,数据呈现出大规模、多样性的特点,特别是非结构化数据呈现出爆发式的增长态势。企业对数据库技术的需求不再局限于结构化的OLTP数据交易
7月14日,以“夯实产业基础深耕行业应用”为题的“2022(第二届)中国大数据产业创新大会”在北京成功举办,荣联科技集团携子公司云生数据共同参会,并斩获两项大奖。