当前位置:首页 >  科技 >  IT业界 >  正文

未来技术对数据存储结构变化的挑战

 2019-09-17 16:12  来源: 互联网   我来投稿 撤稿纠错

  阿里云优惠券 先领券再下单

2018年全球共产生了32个ZB的数据(ZB是10的12次方GB),在4年后我们将进入一个阶段性的ZB级数据时代,每年将会产生超过100个ZB的数据量。随着5G、IoT、AI和深度学习、超高清技术的发展,数据将产生爆炸性的增长,同时也对数据存储提出新的挑战。2019年9月11日,西部数据产品市场部副总裁朱海翔先生就下一代存储创新为主题在2019世界计算机大会上进行了主题演讲。

西部数据公司产品市场部副总裁朱海翔先生

西部数据公司产品市场部副总裁朱海翔表示:“数据正悄然无声地产生于我们日常生活的点滴之中。随着万物互联的发展,我们已经来到了数据大爆炸的时代。相信流媒体发展产生的数据表现能够快速引起大家的共鸣:一部40集的电视剧,在高清格式下需要有大概69GB的存储空间,而到了现在4K超高清的画质下,我们则需要大约480GB的存储容量,这相当于之前所需存储容量的约7倍。在今天,我们可以看到很多的数据还是以人为产生的为主;但预计到了2023年,全世界超过90%的数据都会由机器自动产生。针对这些爆炸性的数据,我们有必要重新审视当今的存储能不能满足数据中心急剧增长的发展需求。如何满足数据增长的存储需求,是时代交给西部数据的命题。”

成本:数字和逻辑的维度

从标清提升到超高清用户在视觉上获得更好的体验,而背后的数据则呈指数级增长,超高清的存储量约是标清的16倍,数据的存储量也呈现指数级的增长,随着未来90%的数据都由机器自动产生,将呈现爆发式的数据存储需求。西部数据认为利用更多数据产生过程和特性的改变,以有效、低成本、高密度的方式存储数据,是应对数据存储结构变化的有效措施。

以目前的存储技术全球存储的数据仅15%被留存下来,到2023年在技术不变的前提下大约只有10%的数据留存,其余高达90%的数据因成本和收益等原因被放弃,在大数据时代每一行数据都是有潜在价值的,数据是时代的新货币言下之意就是在产生数据的时候你没有意识到数据的价值,而在后期分析中将挖掘出数据的价值,兼顾数据存储的有效性和低成本是未来的一大趋势。

在NAND FLASH工艺制程经常能听到24层、48层、96层,对于追求成本的企业来说并非工艺制程越高就越合适,朱海翔做了一个生动的形容:“在旧金山市中心有一幢61层的大厦,将其比喻成64层的的3D NAND,每层增加都是需要增加成本的,所以你从来看不到200层的大厦。”

纵向增加的层数都会反映在成本上,而结合横向和纵向的维度就产生了第三个数字和逻辑的维度,当闪存孔每单元存储422个比特,为了保持在高效的4kb状态下,推进逻辑扩展到边界是一个很好的办法,通过QLC的逻辑扩展成本得以控制并获得极佳的访问性能,而同时也产生了OP的限制问题。

面向未来的分区存储架构

西部数据拥有非常成熟的HDD技术储备,HDD的技术演进是基于系统的架构来创建的,在过去十几年西部数据一直在推进HDD单盘的存储量,传统的垂直记录技术已经到达边界,全新的叠瓦式磁记录技术(SMR)增通过逻辑扩展再次不断刷新单盘面密度的新纪录。

预计到2002年全球数据中心的HDD将有一半会转向叠瓦式磁记录技术的HDD,同时西部数据也会推进闪存技术的发展,随着数据量的爆发式增长,数据中心将面临超大负载会产生巨大的资源需求和成本开销。机器产生的数据具有顺序写入的特性,通过分区存储设备对工作负载进行合理优化,从而性能性能、效率,更快的实现TCO的降低。

分区存储架构通过应用层、主机和存储协同数据存放位置,利用SMR HDD实现最的存储容量,并通过新兴分区命名空间(ZNS)标准的NVMe SDD实现耐久性和低延迟以及QoS性能,以弥补OP的限制问题,由SMR和ZNS SSD组成的分区存储架构是实现优化基础架构实现更大规模经济效益的面向未来的全新存储架构,目前西部数据基于开源的模式,和全球主要厂商和OEM厂商建立联盟,在今年10月份共同推行分区存储结构的标准化。

从数据架构角度来看,分区存储结构是一次真正改变存储效能的演进,特别是满足新兴的技术产生的大存储量数据, 分区存储技术能更好的不同行业的发展。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
数据存储

相关文章

  • 分布式存储费用高吗?大概需要多少钱

    分布式存储的费用是否高,取决于多个因素,包括存储容量、性能要求、服务提供商、计费模式等。因此,无法简单地给出一个“高”或“不高”的答案。通常分布式存储费用通常包含存储费用、网络费用、增值服务费、数据迁移、API调用、管理维护等费用。

  • 当直播“顶流”遇上存储“顶流”,罗永浩和Lexar雷克沙的初次会面

    又是一年双十一热销大促,今年各大平台的直播间可谓是热闹非凡,我们熟悉的罗永浩“交个朋友”直播间也如约带来了很多优惠好货。11月1日,罗永浩“交个朋友”直播间携手众多品牌再度归来,带货实力依然抗打。作为数码3C类目的带货“扛把子”,我们发现此次罗永浩直播间中除了有大家熟知的各大科技数码品牌外,还有一些

    标签:
    数据存储
  • 青云QingCloud 非结构化数据存储 U10000 在海量小文件场景的应用

    青云科技(qingcloud.com)QingStorU10000作为一款分布式存储,在支持线性扩展上表现不俗。U10000最低3节点起步,随着节点数量的增长,存储容量和存储集群的性能都会线性增长。U10000的存储效率比较高。通过可灵活配置的EC纠删码,能让整个集群的物理磁盘可用空间达到90%以上

    标签:
    数据存储
  • 青云QingCloud “很能存”的非结构化存储 U10000

    IDC此前的数据显示,2018年,全球数据量为33ZB,而在2025年,全球数据量将达到175ZB,这其中有80%都是非结构化数据。宏观的数据趋势令人惊叹,存储厂商的反应更真实。这从青云科技(qingcloud.com)存储QingStor的产品线调整,也可见一斑。青云在成立之初主要提供公有云服务,

    标签:
    数据存储
  • 上海摄影展新品发布,lexar雷克沙开创高端存储新篇章

    8月10日,第24届上海国际摄影器材和数码影像展览会(以下简称P&IShanghai)在上海新国际博览中心隆重开幕。在此次展会上,Lexar雷克沙不仅带来了全新升级的影像存储产品系列,还启动了记忆之城·2023影像创作大赛,并在现场举办了《上海记忆》视觉文献展和多场摄影讲座。旗舰品质引领创新P&IS

    标签:
    数据存储

热门排行

信息推荐