华为发布全新AI存储，以长记忆内存新范式使能AI大模型训练和推理

  【天极网IT新闻频道】9月20日，在华为全联接大会2024期间举办的数据存储峰会上，华为公司副总裁、数据存储产品线总裁周跃峰博士发布全新AI存储OceanStor A800，以长记忆内存新范式全面提升AI大模型训练和推理能力，助力千行万业大步迈入数智时代。

  华为公司副总裁、数据存储产品线总裁周跃峰发表主题演讲

  人类文明从远古的石器时代，到农业时代、工业时代，直至如今的数智时代，数据作为发展新质生产力的关键生产要素。人们利用数据，在AI大模型、具身智能、AI for science等核心AI领域取得长足发展。

  数智时代是数据的黄金时代，数据规模爆炸式增长、数据价值不断攀升的同时，也面临xPU与存储的带宽不足、算力集群可用度低、推理时延长等挑战，对存储提出更高要求。数智时代呼唤 Storage for AI，具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的数据存储是通往AI数智时代的必由之路。

  为应对以上挑战，华为发布全新AI存储OceanStor A800，在AI大模型高效训练能力的基础上，大幅增强推理能力，并在集群性能、新数据范式上有了跨越式提升，促进AI在千行万业落地。

  1.单套AI存储设备支持十万卡级大模型训练。通过构建前端网卡全共享、控制器与后端SSD盘全互联的技术架构，单套存储设备可支持10万卡级集群全互联。一套OceanStor A800 存储*多可实现与19.2万卡训练集群的静态全连接，性能提升40%，空间占用降低80%。

  2.以存强算，AI集群可用度提升30%。AI训练中断频频发生，据统计AI训练中心持续训练的时间*长仅为2.6天，导致GPU/NPU必须反复保存CKPT数据。中国移动将华为OceanStor AI存储用于大模型训练，实现150PB单存储集群、8TB/s带宽和2.3亿IOPS的能力，集群可用度提升32%，为后续更大规模大模型训练提供有力支撑。

  3.以存代算，长记忆内存型存储提升推理体验并降低系统成本。

  Long context(长上下文)成为大模型推理的必然发展趋势，根据Scaling law，提供足够高的推理算力和中间Token数，可大幅提升推理的准确度。通过专业AI存储，可长期保存Long context及海量中间推理 Token，*大程度提升大模型的逻辑思考和推理能力，尤其是慢思考能力。

  OceanStor A800作为业界首款提供长记忆能力的存储，创新性采用多级KV缓存机制，将KV-Cache持久化保存并高效使用，让大模型推理具备长记忆能力，减少在Prefill阶段的重复计算，客户推理时延降低78%，单个xPU卡的吞吐量提升67%，大幅提升推理体验的同时降低成本。

  数智时代的全新AI存储，正在金融信贷、投研分析、医疗健康、药物研发等行业场景发挥价值。周跃峰表示，在数据的黄金时代，华为以其创新的AI存储，释放先进数据存力，铸就数智时代根基。