中国存储网消息,人工智能在澳大利亚正在迅速从实验性转变为必要性,重塑国家基础设施,重新定义生产力优先事项,并引发关于人工智能监管必要性的日常辩论。
为了跟上动态趋势,组织正在竞相满足计算和性能基础设施的需求,以推动人工智能等强大的应用程序。随着企业扩大其人工智能雄心壮志,一个隐藏且日益增长的挑战经常被忽视:我们如何存储人工智能需要、消费和创建的大量数据。
每个人都在谈论图形处理单元 (GPU) 和闪存性能,但很少有人考虑所有这些数据的来源和最终来源。从训练集和模型检查点到推理日志和遥测,AI 管道生成热、暖和冷数据,需要针对不同性能和容量需求量身定制的存储解决方案。硬盘驱动器 (HDD) 在人工智能基础设施中发挥着至关重要的作用,是长期、大容量存储的支柱,可与更高性能、更低延迟的固态硬盘 (SSD) 协同工作。
AI 工作负载的现实
随着科技巨头在澳大利亚迅速扩展其人工智能能力,随着人工智能在人工智能数据生命周期的每个阶段消耗和生成大量数据,对数据存储的需求不断增长。
大量数据(通常达到 PB 级)为 AI 模型提供支持,提供所需的数据智能,以便在当下和大规模地实现快速、准确的决策。数据越多,结果越好。这包括数据准备和摄取、模型训练、推理和提示、推理引擎和新内容生成,使人工智能依赖于具有不同特性和功能的存储解决方案。
性能至关重要,但容量、弹性、可扩展性和其他因素也至关重要。其中大部分数据要么是一次写入,要么是稍后读,要么在训练或遥测日志记录等特定阶段写入较多。这些数据通常出于各种原因而保留,包括合规性、模型重新训练、捕获快照和未来审计 - 所有这些都有自己的要求。并非所有数据都需要高性能闪存。事实上,闪进式人工智能平台必须将快速层与更具成本效益的层配对。
云、超大规模环境依赖于 HDD
高容量、经济高效的 HDD 解决方案为当今广泛的大数据和数据湖奠定了基础,这些数据湖存储了用于训练模型的大量数据集。这些数据来自原始数据存档、视频内容、对象存储、系统日志、元数据和备份。因此,每个 AI 应用程序都需要智能、可扩展且经济实惠的容量。这就是 HDD 继续大放异彩的地方。
经济性 - 在为 AI 应用程序构建动态存储环境时,每 TB 成本至关重要。企业需要优化预算分配并充分利用可用资源。大多数 AI 数据都是热的或冷的,这使得大容量 HDD 成为经济高效且大规模存储数据的理想选择。根据 Western Digital 进行的研究,HDD 的购置成本优势是闪存的 6 倍,尤其是在大容量大规模环境中。HDD 架构的持续创新使它们能够继续提供更多的每 TB 价值,随着 HDD 容量的增加,随着时间的推移降低 TCO。
性能 - 清晰的性价比指标是做出明智存储决策的关键 - 这一切都取决于选择与您的工作负载相匹配的正确解决方案。HDD 继续在各种 AI 数据周期工作负载中提供强大的性能,在成本和功能之间实现了令人信服的平衡。组织可以通过使存储性能与实际需求保持一致来优化总拥有成本,而不是为过剩容量支付过高的费用。
创新 - HDD 解决方案不断发展,为组织提供更高的容量、更好的性能和更多的价值。这包括能量辅助磁记录 (EAMR) 和叠瓦式磁记录 (SMR) 等记录系统创新,以及机械创新,例如充氦 HDD,可在 3.5 英寸 HDD 外形尺寸中实现多达 11 个磁盘,这些技术不断推动密度、性能和效率。未来,热辅助磁记录 (HAMR) 的广泛使用将推动 HDD 容量更高。
存储不是非此即彼的命题 - 它是分层的
人工智能应用具有广泛的存储需求,而 HDD 继续成为满足该地区对长期大规模存储不断增长的需求的支柱,使组织能够以最有效和最具成本效益的方式满足其高容量需求。当今的 HDD 解决方案不是传统技术,而是数据基础设施不断发展的主力,旨在处理当前和未来 AI 工作负载的大量、不断增长的存储需求。