登录/注册
技术更替是一个熟悉的故事——火炬从旧的传递到新的. 举个例子, 蒸汽机被内燃机取代, 笨重的电子管显示器优雅地退出市场，取而代之的是光滑的液晶显示屏. 我最关心的是笔记本电脑中几乎完全用固态硬盘(ssd)取代了传统硬盘驱动器(hdd).
在闪存和基于闪存的固态硬盘架构和开发方面有超过三十年的经验, 我很熟悉存储技术的变化. 我见证了固态硬盘的关键转变——从NOR到NAND的转变, 从每单元单比特(SLC)转换到每单元多比特(MLC), 薄层色谱, PLC), 等.)，从SATA到PCIe/NVMe的过渡，以及从2.5”HDD的外形尺寸到专用固态硬盘的外形尺寸，如M.2和EDSFF. 每一个都对整个行业产生了重大影响，并推动我们向前发展.
一直出现的一个突出问题是:ssd何时会比hdd更具成本效益并完全取代它们? 根据国际数据公司(IDC)1, in 2023, 运送到数据中心的PB中约有13%是闪存ssd(主要是薄层色谱)，而不是容量优化的hdd(主要是20TB).5”). 固态硬盘每太字节的美元复合年增长率下降了17%左右，容量优化的HDD下降了8%.5%的复合年增长率，你可以预测10-15年后的理论交叉.
在这个博客中, 我将探讨一个更好的问题，并对数据存储的未来进行预测. 我是根据最近的 Currie Munce的微米博客2 讨论单个超大规模机从严格基于硬盘的暖层文件系统过渡的体验，以及人工智能对它们的影响和解决方案, 其中包括ssd作为分层缓存层.
Meta的暖层过渡到由AI驱动的复合固态硬盘/HDD解决方案
在2021年，Meta在大会上展示了构造文件系统 Usenix文件与存储技术会议3. 这个创新的系统结合了低延迟, 小型blob存储，快速提供所需的hdd，优先考虑IOPS和数据仓库, 哪个可以提供优先密度的硬盘. 构造作为一个统一的艾字节级系统运行，使用包含72.3个存储节点的数千个存储节点构建.每架5英寸硬盘. 存储节点按3计算.5”容量优化的硬盘.
一切都很好，直到人工智能的存储需求受到重创, 这在一年内就能体现出来, 他们的在线摄入带宽增加了四倍! 这超过了100% HDD解决方案的峰值I/O需求.
图1: 由于人工智能的爆炸式增长，Meta的带宽需求在4个季度内增长了4倍
如果继续使用仅使用hdd的热层，将需要为I/O大量过量配置hdd, 导致多余的专属存储容量，成本和功耗高. 他们认为这与用100%固态硬盘替换热层或采用hdd和固态硬盘的复合解决方案的选择相反. 下表, Meta出版, 说明了挑战:仅hdd就存在严重的供应过剩, 仅在当前密度下更换固态硬盘的困难, 以及达到理想平衡的复合硬盘和闪存存储解决方案.
表1: 硬盘的存储功率要求, 闪光, 理想的复合星团, 假设100pb和10tb /s的存储和IO需求. Meta显示仅满足存储所需的功率, 带宽只, 这两个要求, 规范化为仅硬盘存储.4
4 沙巴体育安卓版下载作者如何在详细分析人工智能轨迹及其独特属性后选择缓存策略，并确定插入和删除策略之间的正确权衡，以权衡性能与功率, 温层缓存中ssd盘的成本和耐用性.\n
由于人工智能工作负载的爆炸式增长，因此将固态硬盘缓存层插入Meta基于hdd的Tectonic-Shift系统中，从而吸收了增加的工作负载.
\n"}}' id="text-1353180e3d">架构正确的存储缓存
修正后的暖层解决方案被命名为构造转移. 它包括一个应用程序透明薄层色谱缓存，支持已经在热层中的hdd. 在ACM ' 23上发表的论文中有一个很好的讨论4 沙巴体育安卓版下载作者如何在详细分析人工智能轨迹及其独特属性后选择缓存策略，并确定插入和删除策略之间的正确权衡，以权衡性能与功率, 温层缓存中ssd盘的成本和耐用性.
由于人工智能工作负载的爆炸式增长，因此将固态硬盘缓存层插入Meta基于hdd的Tectonic-Shift系统中，从而吸收了增加的工作负载.
图2: 生产结果将Shift与只允许io较多的表的专家手动调优策略进行比较.
复合固态硬盘+HDD超越AI. 期待.
一个关键的权衡不仅在于实现合适的存储密度，还在于确保适合该密度的I/O性能. 正如Currie Munce之前在博客中讨论的那样, 要考虑的一个有用的度量是性能除以密度. 让我们用一个例子来说明这一点:Facebook的构造文件系统:来自百亿亿次的效率“纸, 作者提出了一个需要100 PB (PB)的复合集群，峰值速率为10 TB/s。. 这意味着在峰值性能下，存储吞吐量密度大约为每秒100兆字节/太字节(MB/s/TB). 然而，不同工作负载的平均需求是不同的. 对于AI工作负载, 建议的平均存储密度约为20 MB/s/TB, 而对象存储通常以大约5mb /s/TB的速度运行. 另一方面，Blob存储在2mb /s/TB左右徘徊2
当我们在不断变化的数据存储环境中导航时，平衡性能和密度变得至关重要.
微米 6500 ION专用于保暖层
尽管hdd具有历史上令人印象深刻的密度复合年增长率，但其性能几乎持平. 因此, 每太字节每秒兆字节(MB/s/TB)随着每一代的增加而减少. 美光认为，这将通过进一步的固态硬盘分层而不是HDD过度配置来解决. ssd将取代热层中的hdd. hdd将继续服务于较冷/冷层.
所以正确的问题是:
“什么时候ssd会在数据中心取代(而不是取代)hdd?”
答案是:
他们已经做到了!”
这正是美光开发并推出美光6500 ION固态硬盘的原因. 这款屡获殊荣的固态硬盘通过高吞吐量密度优化了分层存储解决方案中的TCO, 功率效率, 低延迟.
这将成为hdd的补充层，而不是在可预见的未来取代hdd.
参考文献
1 国际数据公司(IDC), 全球固态硬盘预测更新, 2023–2027 Dec 2023 | Doc #US50021623; 国际数据公司(IDC), 全球硬盘驱动器预测更新, 2023 - 2027 Dec 2023 | Doc #US51423423
2 固态硬盘和硬盘——“是敌是友”
3 构造文件系统:整合存储基础设施- Meta工程(fb).com)
4 构造-移位:用于大规模机器学习训练的复合存储结构| USENIX
