当前位置:首页 >  IDC >  云计算 >  正文

UCloud优刻得US3在海量数据归档存储下的成本优化实践,使存储成本再降80%

 2021-04-21 11:15  来源: 互联网   我来投稿 撤稿纠错

  【推荐】海外独服/站群服务器/高防

前言

UCloud优刻得在2020年8月正式发布了基于US3的全新一代归档存储产品,该产品采用UCloud优刻得全新自研存储架构,相较标准存储降低近80%存储成本的同时,与市场同类归档存储产品相比降低近30%的价格。据IDC的预测,全球年新增数据量到2025年将达175ZB,真正能存储下来的数据仅有15ZB左右,流失率超过91%。在目前企业数据的冰山模型里,80%的数据量来源于冷数据。在公有云领域,UCloud优刻得认为容量型存储通过技术手段提升发展的空间还十分巨大。

如何最大化利用最新的高容量硬件来进一步降低存储成本?如何在归档存储长期保存的场景下充分保障用户的数据安全?这些都需要UCloud优刻得对US3归档存储的整个IO路径做较大的优化以及硬件适配工作,同时我们还需要保障产品的易用性,避免给用户带来额外的使用成本。

接下来本文将从UCloud优刻得如何利用硬盘技术提升存储密度以及优化IO调度来降低运营成本这两个角度,详细解析US3归档存储的底层存储引擎的软件以及硬件选型优化细节。

采用SMR盘+JBOD设备提高存储密度

降低硬件层面的成本,主要体现在提高存储密度上。这里我们探索过包括蓝光,磁带、硬盘等不同的存储介质,也有参考过微软的Pelican系统的硬件设计。考虑到我们最终实现的目标是期望用户可以在紧急情况下分钟内实现数据的激活与读取,正常情况下可以在小时内完成激活与读取,对于用户的最短保存时间不需要以年来计算。因此,UCloud 优刻得结合自身的存储技术优势,暂时排除了蓝光以及磁带的存储介质实现,主要采用高密度硬盘的方式来实现归档型的云存储服务。

这里先介绍一下传统硬盘是怎么记录数据的。

这种传统的硬盘一般来说是属于垂直磁记录PMR类型的硬盘。数据通过写入彼此平行而不重叠的磁道来记录数据,提升数据存储容量只能通过提升磁道数量来提升。

相较于这种传统的硬盘还有一种基于叠瓦磁记录SMR的磁存储数据记录技术的硬盘可以提升存储密度以及整体硬盘的存储容量。这里介绍SMR硬盘的硬件实现之前还需要先了解一个背景知识,首先我们将磁盘的磁头放大来看。

由于物理上的原因,磁盘写入磁头所需要的宽度要比读取的磁头宽上很多,这就导致了读写两个操作对于磁道宽度的需求其实是不对等的,写入需要的宽度更多,这就给提高磁盘密度带来了可能性,下面我们再来看一下SMR磁盘的构造。

SMR硬盘写入的新磁道与先前写入的磁道部分重叠,从而使先前的磁道更窄,因此能拥有更高的磁道密度。由此可以看出,使用叠瓦磁技术的磁道相互重叠,与用作屋顶的瓦片堆叠方式类似,所以叫做叠瓦磁记录硬盘。

从SMR硬盘的硬件构造我们不难看出在提升硬盘存储容量的同时,对于写入其实会造成很大的困难,一旦当前磁道的下一条磁道被写入过数据,这个磁道如果再想写入,由于磁道有重叠,写入的磁头又较大就会对后面的数据造成影响。所以从使用的角度来看,SMR硬盘会被划分成若干的Zone,每个Zone中的数据只能够进行追加写入,这其中又会有1%的Zone,磁道不重叠,叫做CMR Zone,可以支持随机读写。

可想而知如果要对上层屏蔽SMR盘带来的限制的话会带来不少的代价,这里有device managed、host aware两种方式来简单屏蔽掉SMR的顺序写入限制,但不论哪一种,都是将随机IO转化为顺序IO,这样会带来一定的写放大以及读性能下降,以及在特定IO场景下的硬盘寿命影响,且上层对其影响不可控。

UCloud优刻得存储团队在多个现有产品上,都有绕过文件系统直接对块层存储操作的技术积累,为避免对底层存储落地文件系统有强依赖,我们选取了host managed的方式来对SMR盘进行读写管理。

在硬盘数据落地的同时,我们也将相关的少量元数据与数据合并在一起写入,这样做有三方面考虑:一是这部分少量元数据,我们会包含这一次IO的整体CRC,用于防止硬盘的静默错误(Silent Data Corruption),提高用户在使用US3归档存储时的数据可靠性,因此在冷存储这种海量且长期存储场景硬盘的比特位反转(bit flip)等错误还是需要我们特别关注的。二是当我们的元数据受到一些毁灭性的软硬件问题导致不可用时,我们可以通过重新读取这些随IO写入的元数据复原出整体的结构,当然这个代价也是比较大,预期也是在应对一些黑天鹅事件时的处理方案。三是可以降低我们的写放大,在写入时不会由于需要更新元数据而写入两次IO,这在随机IO能力不是强项的HDD硬盘场景下也格外重要。

我们选取了其中头部的若干CMR Zone用于自解析当前盘的元数据,并冗余多份,这里由于自身1%的CMR Zone对于元数据来说还是较多,所以这里我们将部分CMR Zone和只能追加写的SMR Zone都抽象成了只能追加写的Data Zone,来最大化的利用磁盘的空间。

至此我们提高了单块磁盘的存储密度,使单块硬盘存储空间提升150%,相较于之前,我们还提高了单机柜的磁盘密度来进一步提升整体的存储密度。相较于传统36盘位的传统高密机型,我们采用了JBOD的方式。这里受益于 UCloud优刻得自建机房的优势,先前单机柜机房地板承重以及高功率机柜稀缺的限制不再存在,从而可以在单机柜存放更多的JBOD存储设备,使单位机架的存储容量提升5.375倍,硬盘数量增加59%。

除此之外,我们还采用了双机头硬件架构,所有JBOD中的硬盘保证同时双机头可见,这样保证了在单机宕机的情况下,仍然可以通过我们的选主算法立刻切到另外一个机器上,保证服务的可用性。

优化IO调度算法降低运营成本

提高密度本质上降低的是我们的CAPEX(Capital Expenditure)资本性支出,在归档存储的场景下长期的OPEX(Operating Expense)运营成本也占比较大。这里我们做出的优化是在不影响用户使用体验及存储性能的前提下降低我们的电费支出(即降低OPEX成本)。

为此我们在IO调度层增加基于硬盘Spin-up、 Spin-down的调度算法。用来降低在高密度机型的冷存储场景下大量硬盘空转的电力浪费。

这里整体的调度算法需要考虑的因素很多,我们首先根据故障域把JBOD中的磁盘分成若干个磁盘组,保证在适当的EC条带以及JBOD个数下,能够容忍磁盘以及JBOD层面的故障,之后Spin up-down的操作都基于磁盘组为单位进行操作。

同时我们需要考虑在满足用户紧急读取需求的同时保证硬盘的Spin up-down次数在一定的范围之内,这里我们将硬盘使用寿命内的可操作上下电次数平均到每天每小时,在算法上保证磁盘的每次Spin up-down会有一定的冷却时间,而用户的普通读再通过正常的轮询上电的时间片内进行读取,这样既可以降低用户的使用成本也保证了用户数据在硬盘使用方式层面的可靠性。

除了可靠性上面的考虑,我们也需要保证写入的性能是否能够吃满我们的硬件,由于SMR盘以及业务逻辑的特殊性我们的写入包括之后的Compaction都是大量顺序写入,所以我们配合EC条带的大小保证一个磁盘组的写入数据带宽可以吃满我们整体设备的网卡带宽,这样在性能上就不会有额外的浪费。

写在最后

基于上述提高磁盘存储密度以及降低运营成本(即电费)两个主要方面的设计考虑,UCloud优刻得研发了US3归档存储的底层存储引擎(如上图所示),在大幅降低US3归档存储成本的同时,保障了在归档存储这种长期冷存储下的数据高可靠性。

后续UCloud优刻得US3归档存储会继续从各个方面提升产品的使用体验,例如更加便捷自动的数据降冷处理,更加智能化的降低存储成本,让用户充分享受UCloud优刻得技术创新带来的价格红利。还会探索深度归档场景下磁带等其他存储介质的使用,让UCloud优刻得用户不用与复杂的底层硬件进行直接的交互,就能满足海量冷数据存储的需求。

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关标签
数据存储
云存储

相关文章

  • 鹏云网络分布式块存储社区版问世,首发开源存储解决方案

    2023年1月,南京鹏云网络科技有限公司(简称:鹏云网络)正式宣布开源ZettaStorDBS分布式块存储系统,开放了自研10余年的分布式块存储技术,自此踏上了“自研”与“开源”一体并行的生态闭环之路。研发十年,挑战块存技术上限成本、效率、高可用,一直都是企业IT系统建设所追求的重要关键点,这三点在

    标签:
    数据存储
  • 智能加速 算力先行 | 坤前计算机闪耀安博会

    6月10日,2023中国国际社会公共安全产品博览会(以下简称“安博会”)在北京圆满落幕,此次安防盛典时隔一年强势回归,新技术、新产品层出不穷,吸引数万观众齐聚一堂,坤前计算机受邀出席,携明星机型及多系列一体化解决方案惊艳亮相。算力:AI落地的动力之源随着生成式人工智能(AIGC)的快速发展与创新应用

    标签:
    云存储
  • “效能再进化,数据更安全”威联通举行QTS 5.1.0及次世代NAS发布会

    2023年5月9日,以“效能再进化,数据更安全”为主题,威联通2023年新品发布会在上海隆重举行,多家媒体、合作伙伴及威联通爱好者莅临现场,共同见证NAS网络存储行业朝向更高品质、更强性能、更好安全性的再次启航。威联通QTS5.1.0系统发布时下,网络存储行业已从萌芽时代步入增速发展关键期,用户对数

    标签:
    数据存储
  • 面向海量非结构化数据存储,QingStor U10000帮助企业解锁数据价值

    随着经济社会数字化转型的加速,各行各业产生的非结构化数据持续呈现井喷增长态势。而为了科学高效地利用这些非结构化数据,为企业加速数字化转型打牢基础,在实现数据稳定、专业的存储的前提下,推动数据的合理流动是关键。作为业内技术领先的企业级云服务商与数字化解决方案提供商,青云科技(qingcloud.com

    标签:
    数据存储
  • 得一微对话Arm,打造计算型存储新生态

    高可靠存储控制芯片、高端汽车存储芯片等领域都已成为备受瞩目的黄金赛道,被持续加大研发投入,颇受市场认可。在这样的市场背景下,得一微电子CEO吴大畏与Arm物联网事业部业务拓展副总裁马健展开生态对话,围绕存储控制技术及应用市场展开了探讨,双方将在ComputationalStorage计算存储领域芯片

    标签:
    数据存储

热门排行

信息推荐