在第四届华为创新数据基础设施 (IDI) 论坛(德国慕尼黑)上,华为技术有限公司发布了 AI 数据湖解决方案,旨在加速 AI 在各行各业的采用。
华为副总裁兼数据存储产品线总裁周伟文在主题演讲《数据觉醒,AI就绪型数据基础设施加速智能》中介绍了该解决方案。
虽然数字化转型已经发展了几十年并带来了翻天覆地的变化,但有一点始终不变:数据的重要性。周的演讲强调了这一点:“要做好 Al 准备,就要准备好数据。行业数字化的不断深化是一个将数据转化为信息和知识的过程。”
AI 数据湖解决方案通过集成数据存储、数据管理、资源管理和 AI 工具链,提供 AI 语料库,加速模型训练和推理,使能企业拥抱 AI。
在演讲中,周 提供了有关数据湖解决方案中的产品和技术的详细信息:
Oceanstor A800
-
数据存储:性能、容量和弹性的持续创新
-
加速 AI 模型训练和推理:该公司的 OceanStor A 系列高性能 AI 存储提供卓越的性能。例如,它使 AI 技术开发商科大讯飞等公司能够提高集群训练效率。其先进的推理加速技术可增强推理性能,减少延迟,并提升应用程序用户体验,从而加快大型模型推理应用程序在生产环境中的部署。
-
海量AI数据存储:OceanStor Pacific全闪存横向扩展存储提供4PB/2 U的高容量密度和0.25W/TB的超低功耗。它旨在轻松管理 EB 级数据,非常适合教育、科学研究、医学成像和媒体领域的数据密集型工作负载。
-
AI 语料和向量数据库备份:OceanProtect 备份存储的备份性能是其他主流选项的 10 倍,勒索病毒攻击检测准确率高达 99.99%,为油气和 MSP 等领域的训练语料和向量数据库的关键数据提供保护。
-
-
数据管理:数据可见性、可管理性和跨区域
移动性华为 DME 是一个数据管理平台,集成了 Omni-Dataverse,可帮助客户消除地理位置分散的数据中心中的数据孤岛。此外,DME 能够在几秒钟内从超过 1000 亿个文件中检索数据,帮助客户高效处理数据并释放其全部潜力。
-
资源管理:多种 xPU 池化,AI 资源
智能调度 DCS 平台基于虚拟化和容器技术,提供高效的 xPU 资源池化和智能调度,提高资源利用率。此外,DME 中的数云豆 (DataMaster) 通过 AI Copilot 实现全场景、AI 驱动的运维,提供智能问答、运维助手、巡检专家等一系列 AI 应用,打造运维体验。