当前位置:首页 >  科技 >  IT业界 >  正文

未来技术对数据存储结构变化的挑战

 2019-09-17 16:12  来源: 互联网   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

2018年全球共产生了32个ZB的数据(ZB是10的12次方GB),在4年后我们将进入一个阶段性的ZB级数据时代,每年将会产生超过100个ZB的数据量。随着5G、IoT、AI和深度学习、超高清技术的发展,数据将产生爆炸性的增长,同时也对数据存储提出新的挑战。2019年9月11日,西部数据产品市场部副总裁朱海翔先生就下一代存储创新为主题在2019世界计算机大会上进行了主题演讲。

西部数据公司产品市场部副总裁朱海翔先生

西部数据公司产品市场部副总裁朱海翔表示:“数据正悄然无声地产生于我们日常生活的点滴之中。随着万物互联的发展,我们已经来到了数据大爆炸的时代。相信流媒体发展产生的数据表现能够快速引起大家的共鸣:一部40集的电视剧,在高清格式下需要有大概69GB的存储空间,而到了现在4K超高清的画质下,我们则需要大约480GB的存储容量,这相当于之前所需存储容量的约7倍。在今天,我们可以看到很多的数据还是以人为产生的为主;但预计到了2023年,全世界超过90%的数据都会由机器自动产生。针对这些爆炸性的数据,我们有必要重新审视当今的存储能不能满足数据中心急剧增长的发展需求。如何满足数据增长的存储需求,是时代交给西部数据的命题。”

成本:数字和逻辑的维度

从标清提升到超高清用户在视觉上获得更好的体验,而背后的数据则呈指数级增长,超高清的存储量约是标清的16倍,数据的存储量也呈现指数级的增长,随着未来90%的数据都由机器自动产生,将呈现爆发式的数据存储需求。西部数据认为利用更多数据产生过程和特性的改变,以有效、低成本、高密度的方式存储数据,是应对数据存储结构变化的有效措施。

以目前的存储技术全球存储的数据仅15%被留存下来,到2023年在技术不变的前提下大约只有10%的数据留存,其余高达90%的数据因成本和收益等原因被放弃,在大数据时代每一行数据都是有潜在价值的,数据是时代的新货币言下之意就是在产生数据的时候你没有意识到数据的价值,而在后期分析中将挖掘出数据的价值,兼顾数据存储的有效性和低成本是未来的一大趋势。

在NAND FLASH工艺制程经常能听到24层、48层、96层,对于追求成本的企业来说并非工艺制程越高就越合适,朱海翔做了一个生动的形容:“在旧金山市中心有一幢61层的大厦,将其比喻成64层的的3D NAND,每层增加都是需要增加成本的,所以你从来看不到200层的大厦。”

纵向增加的层数都会反映在成本上,而结合横向和纵向的维度就产生了第三个数字和逻辑的维度,当闪存孔每单元存储422个比特,为了保持在高效的4kb状态下,推进逻辑扩展到边界是一个很好的办法,通过QLC的逻辑扩展成本得以控制并获得极佳的访问性能,而同时也产生了OP的限制问题。

面向未来的分区存储架构

西部数据拥有非常成熟的HDD技术储备,HDD的技术演进是基于系统的架构来创建的,在过去十几年西部数据一直在推进HDD单盘的存储量,传统的垂直记录技术已经到达边界,全新的叠瓦式磁记录技术(SMR)增通过逻辑扩展再次不断刷新单盘面密度的新纪录。

预计到2002年全球数据中心的HDD将有一半会转向叠瓦式磁记录技术的HDD,同时西部数据也会推进闪存技术的发展,随着数据量的爆发式增长,数据中心将面临超大负载会产生巨大的资源需求和成本开销。机器产生的数据具有顺序写入的特性,通过分区存储设备对工作负载进行合理优化,从而性能性能、效率,更快的实现TCO的降低。

分区存储架构通过应用层、主机和存储协同数据存放位置,利用SMR HDD实现最的存储容量,并通过新兴分区命名空间(ZNS)标准的NVMe SDD实现耐久性和低延迟以及QoS性能,以弥补OP的限制问题,由SMR和ZNS SSD组成的分区存储架构是实现优化基础架构实现更大规模经济效益的面向未来的全新存储架构,目前西部数据基于开源的模式,和全球主要厂商和OEM厂商建立联盟,在今年10月份共同推行分区存储结构的标准化。

从数据架构角度来看,分区存储结构是一次真正改变存储效能的演进,特别是满足新兴的技术产生的大存储量数据, 分区存储技术能更好的不同行业的发展。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
数据存储

相关文章

  • 鹏云网络分布式块存储社区版问世,首发开源存储解决方案

    2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式宣布开源ZettaStorDBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。研发十年,挑战块存技术上限成本、效率、高可用,一直都是企业IT系统建设所追求的重要关键点,这三点在

    标签:
    数据存储
  • “效能再进化,数据更安全”威联通举行QTS 5.1.0及次世代NAS发布会

    2023年5月9日,以“效能再进化,数据更安全”为主题,威联通2023年新品发布会在上海隆重举行,多家媒体、合作伙伴及威联通爱好者莅临现场,共同见证NAS网络存储行业朝向更高品质、更强性能、更好安全性的再次启航。威联通QTS5.1.0系统发布时下,网络存储行业已从萌芽时代步入增速发展关键期,用户对数

    标签:
    数据存储
  • 面向海量非结构化数据存储,QingStor U10000帮助企业解锁数据价值

    随着经济社会数字化转型的加速,各行各业产生的非结构化数据持续呈现井喷增长态势。而为了科学高效地利用这些非结构化数据,为企业加速数字化转型打牢基础,在实现数据稳定、专业的存储的前提下,推动数据的合理流动是关键。作为业内技术领先的企业级云服务商与数字化解决方案提供商,青云科技(qingcloud.com

    标签:
    数据存储
  • 得一微对话Arm,打造计算型存储新生态

    高可靠存储控制芯片、高端汽车存储芯片等领域都已成为备受瞩目的黄金赛道,被持续加大研发投入,颇受市场认可。在这样的市场背景下,得一微电子CEO吴大畏与Arm物联网事业部业务拓展副总裁马健展开生态对话,围绕存储控制技术及应用市场展开了探讨,双方将在ComputationalStorage计算存储领域芯片

    标签:
    数据存储
  • 百代可信OSS引领国产存储技术新革命!

    近期互联网圈顶流“ChatGPT”凭借着“天上文曲星”般的智能表现火速破圈,在诸如内容生成、搜索引擎优化、智能问答等领域展现出了巨大潜力,引发了人工智能领域的新一轮技术升级与产业重塑,一个AI大规模商业化的时代正悄然来临。AI大规模商业化时代背景,势必伴随着背后海量级的数据存储,数据就是一切,是支撑

    标签:
    数据存储

热门排行

信息推荐