华为终结SSD大盘数据重构难题:能雕花、会自愈
快科技8月19日消息,在通常的分布式存储中,当系统检测到硬盘故障时,系统会采用EC(Erasure Coding)纠删码等冗余校验手段,利用其余节点上的正常硬盘、正常数据,在后台跨节点地将整块硬盘的故障数据重构出来。
然而,随着SSD容量逐步增大,大盘需要重构的数据量翻了4~8倍、耗费时长也等比例上升。
在这个漫长的重构周期里,不仅挤占25%存储带宽、影响业务性能,且更致命的是,系统将处于可靠性降级状态,数据将会面临随时丢失。
今天,华为介绍了全闪分布式存储,对SSD的故障域实施局部隔离,尽可能避免原先的大范围的整盘重构。
针对盘内DDR的失效,华为创新地采用TRR(Tiny Region Reconstruction,最小范围重构)算法,通过盘控深度配合,精准识别并上报失效区域所映射的逻辑地址,然后通知存储系统,对受影响的局部数据进行屏蔽。
这个过程,就像在硬盘上“精密镂刻”一样,然后在新的位置精准重构出这一小部分数据。这,就避免了过去动辄整盘重构,让其余正常数据“免遭牵连”,减少了数百倍的重构数据量,整个过程几分钟就能搞定。
针对NAND Flash的失效,华为也采用自研的“盘内RAID算法”,对盘上所有数据以Die为单位,建立RAID组冗余校验。我们将故障范围精准缩小到Die级,利用其余正常的Die、通过盘内计算引擎恢复出正确的数据。
这项技术的厉害之处在于,这个过程可以不断重复,允许Die一个接一个地失效,持续缩列、甚至缩容而不丢失任何数据。这个操作完全发生在SSD盘内,上层存储系统那个“大佬”根本无需插手,完全不知道底下这么热闹。
假如遇上多个Die同时失效、或者整个颗粒失效的极端情况,那SSD单盘就兜不住了,但系统自然也有备而来。存储系统会立刻启动TRR算法,进行局部数据的“镂刻”和“填坑”,做到精准屏蔽、并进行计划性预拷贝重构。
本文链接:http://www.sanlianzhuang.com/content-25-41476-1.html
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
-
合资插混最强匮电也是龙 雪佛兰探界者Plus上市:14.99万起!
雪佛兰首款智电插混SUV探界者Plus今日正式上市,共推4款配置车型,售价区间14 99-17 99万元。该车采用新一代设计语言,延续美式SUV典型的设 [详细] -
光峰科技发布2023年财报:营收22.13亿元 经营现金流大增105%
4月26日晚间,光峰科技披露2023年年报。年报显示,2023年光峰科技实现营业收入22 13亿元;归母净利润实现1 03亿元;整体毛利率达到36 22%; [详细] -
张艺谋《第二十条》网播上线:爱奇艺、腾讯视频、优酷会员免费看
今日,张艺谋电影《第二十条》正式开启网播,上线爱奇艺、腾讯视频、优酷、芒果TV、B站等视频平台,开通平台会员后可免费观看。据了解,《 [详细] -
《蛋仔派对》注重保护未成年人网络安全 保护未成年人不受到诈骗
在目前这个飞速发展的数字化时代,互联网让我们的娱乐生活得到了极大的丰富,各种各样的游戏层出不穷,但网络安全问题也随之凸显,大额充值 [详细] -
百度:AI专利申请量、授权量国内第一
在第24个世界知识产权日来临之际,百度昨日举办专利运用赋能AI产业高质量发展论坛。在论坛上,百度首席技术官王海峰透露,百度在以大模型为 [详细]