关于全闪存,
江湖中流传着一句箴言……
天下武功,唯快不破!
全闪存的价值在哪里?
答案就是一个字,快!
不过,存储系统的“快”,
可以有很多种解读。
存储系统最常见的性能指标就是IOPS了,也就是每秒进行读写(I/O)操作的次数。不过, IOPS高,就代表性能高吗?这里,我们还需要看另一个性能指标——时延。在存储系统尤其全闪存系统IOPS动辄数十万甚至上百万的今天,时延,才是存储系统性能的终极决胜点。
权威调研公司Gartner认为,在评估存储系统实际使用性能时,应“避免盲目追随厂商声称的毫无意义的数百万IOPS;而应该将低时延作为闪存存储最主要的性能指标。 ”( 摘自2017年7月17日Gartner报告《Critical Capabilities for Solid-State Arrays》)
对用户来说,时延已经超过IOPS和带宽,日益成为了限制业务速度的最大存储瓶颈,而在有效降低时延的基础上,如何实现最佳的存储TCO,更成为所有IT厂商的挑战。
可否采用更高性价比的存储介质,实现全闪存级别的时延呢?新华三集团(以下简称H3C)在2018年1月全面发布的闪存存储产品Nimble(CS混合存储+AF全闪存储),正是从这个设计思路而来。
Nimble可以使用混合阵列的配置,完美的跑出全闪存阵列的IOPS和时延,很好的诠释了什么叫做性能与成本兼顾。
具体如下图所示,Nimble的全闪存阵列可以跑出0.1ms的时延,将业内全闪存的时延标准大幅提升了5~10倍(业内主流全闪存产品时延0.5ms~1ms不等)。但是更加令人震惊的是,Nimble的混合存储可以以超高的性价比实现0.5ms的时延,达到业内主流全闪存产品的时延标准!!!
Nimble系列
笔者刚刚得知这个消息的时候,内心里其实是拒绝的。什么?一堆普通的HDD加上寥寥的3块SSD做读加速,就可以在全随机的情况下赶超全部由SSD组成的全闪存阵列的性能?
不过后来深入了解了其实现原理,笔者只能说:至于你信不信,反正我信了!
采用NVDimm和硬盘顺序化布局技术,全面优化写性能
对于传统混合阵列而言,有两个随机写的瓶颈点一直没有得到有效的解决:
HDD的随机写入性能有限(最好的HDD随机性能只有200IOPS/块,时延6ms以上),无法很快的将DRAM的数据下刷到HDD,导致DRAM很快被写满。一旦DRAM被写满,那存储系统的性能完全则受限于硬盘的数量。但即使加再多HDD提升IOPS,也仍然无法提升时延的表现;
快照、重删、压缩等已经是当前存储界的标准软件功能,但绝大多数传统阵列开启重删、压缩功能时,都会严重的影响业务性能表现。部分产品开启这些高级功能后,甚至会衰减60%以上的性能,结果是这些炫目的企业级高级功能只可远观不可亵玩焉,实在是令人痛心!
Nimble针对这个痛点,创新型的实现了HDD的随机写入顺序化技术(Sequential Layout,以下简称SL),可以使得每块HDD的性能表现由随机的200IOPS飙升到数万,提升足足100倍之多,如果说DRAM是一个水池,以往的HDD是一根又一根的小水管的话,那使用SL技术的HDD就变成了比以往粗100倍的大水管,可以非常快速的将DRAM的数据写入到后端,从而避免了DRAM被写满。因此,SL结合NVDimm技术,使得Nimble混合存储的随机写入可以达成全闪存的性能及时延。
同时,Nimble的重删、压缩、快照等高级功能都是由额外专属的CPU和DRAM在存储内部进行,无需占用对前端服务器提供性能的DRAM和CPU资源,因此,Nimble可以做到开启重删、压缩等功能,性能零衰减!
采用热点数据智能表技术,全面提升读性能
同样的,对于传统混合阵列而言,随机读的瓶颈点也一直没有得到有效的解决:如上所述,HDD的随机读写性能有限,因此绝大多数厂商提供了SSD Cache二级缓存技术,以求提升读的性能。但是无奈,大部分的SSD Cache设计原理是这样的:将新数据直接写入普通HDD介质,待某数据被连续访问若干次后,以数小时至一天为单位将此数据提升到SSD Cache,以提升读性能。
此方法看似美好,但存在一个致命的问题,就是机器学习是有滞后性的!现在这个时代热点数据几乎几小时一变,被动的响应已经无法满足业务的需求,实际统计来看,即使业内领先的SSD Cache技术的命中率,也不过30%而已,我们需要一个可以第一时间以更高命中率响应最新热点的存储技术!
Nimble针对这个痛点,创新型的实现了数据热度表技术。与传统阵列认为所有新数据都是冷数据,等待冷数据慢慢变热不同,Nimble在向后端HDD刷新数据的同时,根据用户选择将20%~100%的新数据全部同步写入SSD Cache,然后根据数据的冷热不同,将冷数据慢慢剔除。实际统计来看,Nimble的SSD Cache技术显著的提升了命中率至少一倍。
综上,Nimble采用CASL技术后,显著的提升了混合阵列的读写性能,并大幅降低了时延,综合表现,Nimble的混合存储时延可以达成和全闪存媲美的0.5ms!
有兴趣的小伙伴们,不妨感受一下Nimble性能小怪兽的速度与激情……
Nimble性能怪兽拥有“快、稳、简、智”四大神技,本期我们对“快”字神技进行了深入解读,下期我们将带来Nimble“稳”字神技的解读,敬请期待……
好文章,需要你的鼓励
OpenAI和微软宣布签署一项非约束性谅解备忘录,修订双方合作关系。随着两家公司在AI市场竞争客户并寻求新的基础设施合作伙伴,其关系日趋复杂。该协议涉及OpenAI从非营利组织向营利实体的重组计划,需要微软这一最大投资者的批准。双方表示将积极制定最终合同条款,共同致力于为所有人提供最佳AI工具。
中山大学团队针对OpenAI O1等长思考推理模型存在的"长度不和谐"问题,提出了O1-Pruner优化方法。该方法通过长度-和谐奖励机制和强化学习训练,成功将模型推理长度缩短30-40%,同时保持甚至提升准确率,显著降低了推理时间和计算成本,为高效AI推理提供了新的解决方案。
中国科技企业发布了名为R1的人形机器人,直接对标特斯拉的Optimus机器人产品。这款新型机器人代表了中国在人工智能和机器人技术领域的最新突破,展现出与国际巨头竞争的实力。R1机器人的推出标志着全球人形机器人市场竞争进一步加剧。
上海AI实验室研究团队深入调查了12种先进视觉语言模型在自动驾驶场景中的真实表现,发现这些AI系统经常在缺乏真实视觉理解的情况下生成看似合理的驾驶解释。通过DriveBench测试平台的全面评估,研究揭示了现有评估方法的重大缺陷,并为开发更可靠的AI驾驶系统提供了重要指导。