当前位置:首页 >  IDC >  云计算 >  正文

青云QingCloud 非结构化数据存储 U10000 在海量小文件场景的应用

 2023-08-30 18:01  来源: 互联网   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

青云科技(qingcloud.com)QingStor U10000作为一款分布式存储,在支持线性扩展上表现不俗。U10000最低3节点起步,随着节点数量的增长,存储容量和存储集群的性能都会线性增长。

U10000的存储效率比较高。通过可灵活配置的EC纠删码,能让整个集群的物理磁盘可用空间达到90%以上,存储效率对于U10000这种超大容量存储来说,经济意义特别大。

U10000在支持线性扩展和EC纠删码技术的基础上,能为海量小文件提供高性能读写,单桶单目录能支持百亿级小文件存储,并且能做到性能不衰减。

海量小文件的性能表现受到越来越多关注,比如,在机器学习场景中,就需要大量小文件,一些训练需要几亿甚至十几亿的文件,存储性能问题会严重影响训练效率。U10000基于Rust语言编写,在性能和安全性上有较大提升。

在数据安全性机制方面,数据层面采用的是多副本技术,而元数据则进行了强一致性处理,元数据和存储数据进行了分层设计。此外,U10000还有多重访问安全机制、智能预警机制。

在运维管理方面,提供了友好的可视化管理界面,可以更好地对存储集群进行各种配置、操作和监控。

U10000 其实已经在非结构数据存储场景上有不少创新实践。

慈铭体检医疗集团的体检服务从预约阶段到报告获取都转到了线上,体检报告除了可以查看体检数据,还可以查看健康态势,背后依靠的是一套数据分析平台。

青云帮助该医疗集团构建了业务承载平台,使用了青云云易捷超融合平台,存储部分则是将数据与U10000对象存储做对接后,实现了对PACS系统的影像数据进行实时调取和长期存储,其中就用到了U10000协议互通的特性,实现了对象和文件互通,为AI医疗相关的创新应用提供了便利。

某智能驾驶科技公司,其自动驾驶研究业务的开展离不开高精度地图,高精度地图需要采集大量图片和视频数据,采集而来的数据需要经过多重处理,需要与各种数据分析和数据存储平台交互,在这种场景下,U10000协议互通的优势也能得到充分发挥。

在早期,其所有业务都运行在公有云上,处于安全方面的考虑,开始构建私有化的集群,由于该公司的规模比较大,对于服务提供商的能力要求也很高,青云的方案基本解决其高精度地图从数据采集、生产、训练整个生命周期的存储和算力需求。

苏州华兴源创是一家工业自动测试设备与整线系统解决方案提供商,主要测试产品用于LCD、柔性OLED、半导体、新能源汽车电子等行业的生产厂家,以及为行业提供定制化的数据融合软件平台。

华兴源创的数据挑战来自自有数据中心的中台、上层工厂流程再造、供应链优化以及安全保障四个方面,涉及到上百套业务系统,有各种各样类型的数据,业务平台对存储的需求也各不相同。

比如,关键业务数据需要有更多副本的存储,对性能要求高的应用需要全闪存的存储配置,数据增长快的应用需要扩展能力更强的存储,而这些需求,绝大部分都由QingStor U10000来满足,其余需求由NeonSAN块存储系统来满足。

清华大学天津电子信息研究院是清华大学电子信息学科的 “产学研一体化”的成果转化基地,其中的高端光电子芯片创新中心,从事芯片设计和开发方面工作,有许多EDA(电子设计自动化)设计需求,需要反复运算、验证,所以,他们对于数据存储系统的要求也很高。

EDA的前端设计阶段会出现大量的随机读写操作,后端设计阶段需要大量顺序读写操作,这对存储系统的综合能力要求很高,非常考验分布式存储架构的设计能力,实际上,U10000也能很好地满足其需求。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
数据存储

相关文章

  • 青云QingCloud “很能存”的非结构化存储 U10000

    IDC此前的数据显示,2018年,全球数据量为33ZB,而在2025年,全球数据量将达到175ZB,这其中有80%都是非结构化数据。宏观的数据趋势令人惊叹,存储厂商的反应更真实。这从青云科技(qingcloud.com)存储QingStor的产品线调整,也可见一斑。青云在成立之初主要提供公有云服务,

    标签:
    数据存储
  • 上海摄影展新品发布,lexar雷克沙开创高端存储新篇章

    8月10日,第24届上海国际摄影器材和数码影像展览会(以下简称P&IShanghai)在上海新国际博览中心隆重开幕。在此次展会上,Lexar雷克沙不仅带来了全新升级的影像存储产品系列,还启动了记忆之城·2023影像创作大赛,并在现场举办了《上海记忆》视觉文献展和多场摄影讲座。旗舰品质引领创新P&IS

    标签:
    数据存储
  • 鹏云网络分布式块存储社区版问世,首发开源存储解决方案

    2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式宣布开源ZettaStorDBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。研发十年,挑战块存技术上限成本、效率、高可用,一直都是企业IT系统建设所追求的重要关键点,这三点在

    标签:
    数据存储
  • “效能再进化,数据更安全”威联通举行QTS 5.1.0及次世代NAS发布会

    2023年5月9日,以“效能再进化,数据更安全”为主题,威联通2023年新品发布会在上海隆重举行,多家媒体、合作伙伴及威联通爱好者莅临现场,共同见证NAS网络存储行业朝向更高品质、更强性能、更好安全性的再次启航。威联通QTS5.1.0系统发布时下,网络存储行业已从萌芽时代步入增速发展关键期,用户对数

    标签:
    数据存储
  • 面向海量非结构化数据存储,QingStor U10000帮助企业解锁数据价值

    随着经济社会数字化转型的加速,各行各业产生的非结构化数据持续呈现井喷增长态势。而为了科学高效地利用这些非结构化数据,为企业加速数字化转型打牢基础,在实现数据稳定、专业的存储的前提下,推动数据的合理流动是关键。作为业内技术领先的企业级云服务商与数字化解决方案提供商,青云科技(qingcloud.com

    标签:
    数据存储

热门排行

信息推荐