当前位置:首页 >  科技 >  IT业界 >  正文

103ZB数据存不下,存储技术需要另辟蹊径

 2019-09-12 15:40  来源: 互联网   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

首先让我们看一组数据:2018年全球产生的数据量是32ZB,预计2023年会达到103ZB。其中,有多少数据被保留下来了呢?

这里也有一组数据:2018年被保存下来的数据是5ZB,占比不足16%;预计2023年12ZB,占比12%,这就意味着会有越来越多的数据没有办法保留下来。有人将数据比喻为石油、黄金,大量的数据得不到保存,令人惋惜。

症结何在?原因很简单,我们存储能力达不到数据增长的需求。

据预测,SSD、大容量企业级HDD仍然会保持快速成长,但即便如此,缺口依然有扩大的趋势?

怎么办?

解铃还须系铃人。存储的问题,还需要借助科技的能力来解决。

为了追逐更大容量的存储,以及GB/$成本,无论是SSD盘,还是传统HDD磁盘都在努力,其中SMR HDD磁盘,QLC颗粒SSD盘是成本最低的产品,是最新科技的体现。

但是SMR、QLC也都面临写入限制的问题,从而制约了产品技术的普及。

以SMR HDD为例,在以前的文章也介绍过,数据写入时,需要将叠瓦部分数据迁移走,这就需要操作系统、以及应用软件的支持。目前,最新操作系统已经能够支持SMR,但是大量低版本操作系统,以及应用软件的限制,仍然制约SMR的使用。

QLC的问题在于PE(擦写次数)过低,从SLC、eMLC、MLC、TLC到QLC,PE从5万~10万次、1万次,3000~5000次,1000次到150次一路下滑。数据写寿命的下滑,使得QLC只适用于读类型应用,不适合频繁的擦写。

为此,西部数据也做了很多努力,将QLC的PE提高到1000次,已经能够与TLC相当。

目前,硬件制造的现状就是如此,如何扬长避短,最大化科技的价值?

这就需要借助软件的力量!

为此,西部数据提出:为了迎接ZB时代,需要重新结构存储,以次为技术,西部数据发布了分区存储技术(ZonedStorage)。

简单说,这是一套存储资源命名空间分区的技术。为此,西部数据发布了libZBC、libZNS共享库,以及开发工具,支持文件系统和内核模块设计,并将其进行了开源。

目前,西部数据的ZonedStorage已经得到了SUSE、ATTO、Microchip、Broadcom等伙伴的支持,西部数据更是将2019年称为分区存储技术元年。

写入限制的瓶颈被突破,会给QLC、SMR HDD市场带来突破吗?

对于用户来说,特别JBAT等互联网厂商,会支持并使用开源的分区存储技术吗?这需要拭目以待。

但是不管怎样,西部数据信心满满。所谓ZNS NVMe SSD平台,ZNS并不是产品的品牌名称,ZNS代表技术类型,代表这能够支持开源分区存储技术的产品,能够最大化发挥QLC SSD的价值。至于SMR HDD,应该是ZBC。

ZNS也好,ZBC也罢,需要注意的是分区存储技术是所有QLC SSD和SMR HDD厂商和开源用户的!

这个技术方向会走得通吗?还是套用一句俗话:拭目以待!

西部数据公司产品市场部副总裁朱海翔

引言:

在ODCC 2019的主题演讲上,西部数据公司产品市场部副总裁朱海翔表示:“ZB级时代的特征之一即是“数据爆炸”。据估计,2023年生成的数据总量将达到103 ZB。如此快速的增长将会给大型云数据中心带来诸多挑战,但同时也为存储产业带来新机遇。如何处理爆炸式增长的数据,已俨然成为业界备受瞩目的问题。以经济且高效的方式革新数据中心存储架构已是大势所趋。分区存储架构通过赋能应用层,实现主机和底层存储介质之间数据存放安置流程的智能化协同。不仅能够充享用SMR技术带来的硬盘存储容量最大化的红利,而且可以在融入ZNS标准的NVMe SSD产品部署过程中拥有更好的耐久性、可预知的低延迟和QoS(服务质量)性能。”

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 鹏云网络分布式块存储社区版问世,首发开源存储解决方案

    2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式宣布开源ZettaStorDBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。研发十年,挑战块存技术上限成本、效率、高可用,一直都是企业IT系统建设所追求的重要关键点,这三点在

    标签:
    数据存储
  • “效能再进化,数据更安全”威联通举行QTS 5.1.0及次世代NAS发布会

    2023年5月9日,以“效能再进化,数据更安全”为主题,威联通2023年新品发布会在上海隆重举行,多家媒体、合作伙伴及威联通爱好者莅临现场,共同见证NAS网络存储行业朝向更高品质、更强性能、更好安全性的再次启航。威联通QTS5.1.0系统发布时下,网络存储行业已从萌芽时代步入增速发展关键期,用户对数

    标签:
    数据存储
  • 面向海量非结构化数据存储,QingStor U10000帮助企业解锁数据价值

    随着经济社会数字化转型的加速,各行各业产生的非结构化数据持续呈现井喷增长态势。而为了科学高效地利用这些非结构化数据,为企业加速数字化转型打牢基础,在实现数据稳定、专业的存储的前提下,推动数据的合理流动是关键。作为业内技术领先的企业级云服务商与数字化解决方案提供商,青云科技(qingcloud.com

    标签:
    数据存储
  • 得一微对话Arm,打造计算型存储新生态

    高可靠存储控制芯片、高端汽车存储芯片等领域都已成为备受瞩目的黄金赛道,被持续加大研发投入,颇受市场认可。在这样的市场背景下,得一微电子CEO吴大畏与Arm物联网事业部业务拓展副总裁马健展开生态对话,围绕存储控制技术及应用市场展开了探讨,双方将在ComputationalStorage计算存储领域芯片

    标签:
    数据存储
  • 百代可信OSS引领国产存储技术新革命!

    近期互联网圈顶流“ChatGPT”凭借着“天上文曲星”般的智能表现火速破圈,在诸如内容生成、搜索引擎优化、智能问答等领域展现出了巨大潜力,引发了人工智能领域的新一轮技术升级与产业重塑,一个AI大规模商业化的时代正悄然来临。AI大规模商业化时代背景,势必伴随着背后海量级的数据存储,数据就是一切,是支撑

    标签:
    数据存储

热门排行

信息推荐