大数据分析手段的广泛应用,助推数据快速增长,存储形态相继经历了从传统存储到大数据存储1.0再到大数据存储2.0的变迁,以应对海量数据的挑战。1.0时代解决了海量存储的问题,通过分布式架构和软件定义,让数据能够存得下。2.0时代解决了便捷管理的问题,通过多协议访问、生命周期管理、异构存储管理、混合云管理,让企业管好数据。
存储引擎 + 智能引擎:更强大的MOS对象存储
企业耗费资本存储数据,最终是为了利用数据价值创造经济效益。存储倘若仍是一个“傻盒子”,只能存储却不能感知数据,是无法满足企业真正需要的。企业对数据价值利用的强烈诉求,驱动大数据存储步入3.0时代。这要求存储足够智能,可基于数据感知实现数据处理和智能调度,基于应用感知实现访问加速,通过存储自身的智能运维减少人力依赖。如此,才能帮助企业用好数据,以智能存储为数字底座,构建面向未来的IT基础架构。而杉岩MOS海量对象存储的智能数据处理引擎,正是承载了这一使命。
图1.海量数据增长催生存储形态变迁
从杉岩的产品战略来看,海量存储核心引擎和智能数据处理引擎,支撑起了更为强大的MOS对象存储。前者依托分布式架构、多样化管理策略以及全面的企业级特性,满足企业存储和管理海量数据的需求;后者依托开放式平台和强大的数据处理能力,并基于数据感知实现智能调度,满足智能处理数据、挖掘数据价值的需求。双引擎驱动,让MOS对象存储集海量数据存储、管理、价值挖掘于一体,无疑是企业应对大数据挑战的极佳选择。
图2:MOS双引擎驱动智能应用
智能数据处理引擎:加速智能应用,释放数据价值
数字化浪潮来袭,大数据、人工智能的发展超出预期,在各行业的落地应用也逐渐铺开,企业利用AI挖掘数据价值的需求是不言而喻的。在传统模式下,对数据库文件等结构化数据进行价值挖掘相对容易,但是对于图像、影音等非结构化数据的价值挖掘是比较困难的。
MOS的智能数据处理引擎,正是为此而生。通过对非结构化数据的多维度标签化和结构化处理,让有价值的数据更容易被发现,实现更高效的价值挖掘。有了智能数据处理引擎,数据处理能力下沉到存储内部,通过与海量存储核心引擎高效联动,并基于数据感知实现智能调度,极大地简化业务流程,提升业务效率。
图3.智能数据处理引擎工作流程
目前,智能数据处理引擎帮助许多行业客户实现了数据的高效价值挖掘,提升收益。
智能管理10亿文件,帮助广发证券打造内容管理平台
广发证券原来的档案管理往往需要业务员人眼筛查,耗时长、易出错,档案查询不够精准。采用智能数据处理引擎后,当客户电子档案存入时,通过身份证识别插件,将客户的姓名、出生年月、身份证号等信息提取出来并打上标签,后续营业厅工作人员可直接通过档案检索界面,根据标签信息进行档案的精细化检索,也可以自定义检索模板,方便高效。此外,为满足合规要求,需将合同文件(Word文档)转为PDF文档并添加水印后再存档。该项目中对相关文件设定生命周期策略,自动调用智能数据处理引擎的文档格式转换(Word转PDF)和添加水印功能,处理后的文件自动转存至目标桶,整个过程基于生命周期策略自动触发,无需人工介入,极大提升了业务效率。
图4.智能数据处理引擎对证件照片和文档的加工处理
智能存储助力质检效率提升,帮助UTAC节省20%存储空间
UTAC是全球十大芯片封测厂商之一。在其芯片封测产线上,通过工业摄像机拍摄芯片的高清图像(BMP格式,单张30MB以上)进行智能质检,每天数据增量80TB,每月文件增量1.3亿个,存储3-4个月,预计需要PB级存储空间。进一步交流得知,部分图片仅前三天需要高清格式,以便于人工复核,三天之后仅作归档和检索,或者直接删除。利用智能数据处理引擎将BMP图片转为JPG图片(单张10MB以内),并基于图片标签实现生命周期自动化管理(如图片到期自动删除,转码后归档到冷池)。该方案帮助用户节省20%存储空间,且数据处理效率相比传统方案提升了30%,总体成本降低了60%以上。
图5.智能数据处理引擎对图像文件的自动化处理
智能数据处理引擎在机器学习场景的应用
机器学习场景下,训练素材以图片为主。如果原始素材是视频文件,可以通过MOS智能数据处理引擎,在存储内部对视频进行抽帧,抽帧后产生的图片用于训练推理。如果有特殊需要,可以对抽帧图片进行二次处理或自定义标签,再用于推理训练,显著提升训练效率。
开放生态,打造强大的智能处理平台
杉岩MOS智能数据处理引擎就像应用市场一样,是一个开放式平台,可以集成丰富的第三方插件,比如合合信息的身份证识别、票据识别等插件,微模式公司的人脸识别、车辆识别等插件,用户可以按需添加插件,扩展数据处理能力。
目前,MOS智能数据处理引擎支持图片转码、图片裁剪、添加水印、身份证识别、人脸识别、车牌识别、票据识别、文档识别、语音识别、内容提取、文件格式转换等20余项处理功能,为用户提供更强大的智能处理平台,满足不同场景的数据处理需求。
智能数据处理引擎的使用有多简单?请戳视频,一睹为快
智能数据处理引擎是杉岩数据面对大数据存储发展趋势的应对方案,在海量存储和便捷管理的基础上,让存储“理解”数据,基于数据感知实现数据预处理和智能调度,简化业务流程;基于应用感知实现访问加速,快速响应业务需求;依托智能运维减少人力依赖,打造更强大的智能数字底座,构建面向未来的智能IT基础架构。
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!
日前,北京佳格天地科技有限公司与农业农村部大数据发展中心签订联合实验室协议。双方将充分利用遥感、AI等技术,以及人才队伍、技术产品等优质资源,开展农业农村领域相关基础模型、作物农情遥感监测产品及农业气象服务等方面的合作研究。
日前,2022世界数字农业大会举行。大会以“种铸强芯,数领未来”为主题,开设多场数字农业云端专题论坛,北京佳格天地科技有限公司受邀出席”农业农村大数据应用论坛“,同与会嘉宾分享了农业大数据的创新应用。
毫无疑问,随着以Kubernetes为代表的云原生技术得到广泛应用和普及,云原生数据量和重要性不断提高,使得企业对云原生数据库服务的需求日渐增长。
近期,由中国工业设计协会、中国技术交易所双重指导,UXPA中国主办的2022年第六届GXA好体验奖评选结果揭晓,元年科技凭借元年数据智能管理平台荣获“最佳企业赋能奖”,该奖项旨在挖掘当代杰出用户体验作品,表彰利用创新思维、坚持以用户体验为中心的企业,填补了国内专业级别用户体验社会化奖项的空白。
近日,秦淮数据集团位于马来西亚柔佛州的秦淮数据马来柔佛超大规模数据中心(以下简称“MY06”)一期盛大开园。从规划、设计到建造,秦淮数据集团中国、新加坡、马来西亚三地团队紧密合作,共同完成马来西亚最大的国际超大规模数据中心交付
把脉中国数据智能化
2023年,几乎可以被定义为中国互联网公司的“大模型元年”。ChatGPT的全球爆红,彻底点燃国内的大模型赛道,曾经的“创业英雄”、如今的商业领袖们亲自下场,接连发布生成式人工智能产品与大模型布局。大模型火了,沉寂许久的互联网行业又有了新的“战事”。同时,大模型的快速发展也改变了云市场的现状,企业对
近日,数字化市场研究咨询机构爱分析发布了《2022爱分析·数据智能厂商全景报告》,爱分析从技术研发能力、服务客户数量、收入规模等维度对厂商进行了全面专业的评估
2022年11月18日,首个国家级大数据产业创新赛事——2022第一届中国大数据大赛圆满落幕。工业和信息化部信息技术发展司数字经济推进处处长张建伦,中国电子技术标准化研究院副院长孙文龙出席颁奖典礼并致辞
2022年11月17日,在厦门市工业和信息化局的指导下,以“数据确权”为主题的2022数据资产(厦门)论坛在厦门成功举办。本次论坛以“数据确权”为主题,由厦门市互联网域名应用服务产业协会和构信网(公信.中国)联合主办
近日,国内知名数字化市场研究咨询机构爱分析正式发布《2022爱分析·信创厂商全景报告》(以下简称“报告”)。报告综合考虑企业关注度、行业落地进展等因素,遴选出在信创市场中具备成熟解决方案和落地能力的厂商。
10月31日下午,由数博会执委会主办、数据观(北京)传媒科技有限公司承办、贵阳大数据交易所协办的第四期数博思享会“实践先行观公共数据价值与应用”活动成功举办。
近日,由中国国际数字经济博览会组委会主办,中国电子技术标准化研究院、河北省工业和信息化厅承办的“第一届中国大数据大赛”(简称大数据大赛)正式启动。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台。
广州光点信息科技有限公司自主研发的数据中台产品GI大数据中台V2.0产品是国内率先推出符合新创标准的中台产品,基于“大数据+AI”等技术全新打造,集数据采集、融合、治理、服务、管理为一体的旗舰平台