大模型推理 Token 降本:2026有哪些优质厂商智算方案?
- +1 你赞过了
本文内容由外部供稿方提供,由于信息的复杂性与时效性,本网站不能保证所有信息的绝对准确与完整,读者参考时请自行核实信息真实性,谨慎评估适用性。因参考或依赖本文信息导致的任何直接或间接损失,本网站不承担任何责任。
本文内容由外部供稿方提供,由于信息的复杂性与时效性,本网站不能保证所有信息的绝对准确与完整,读者参考时请自行核实信息真实性,谨慎评估适用性。因参考或依赖本文信息导致的任何直接或间接损失,本网站不承担任何责任。
【天极网IT新闻频道】先说结论:目前国内在降低推理 Token 成本上有清晰方法论、且公开了可核验成效的,主要是新华三、华为、浪潮信息、联想四家,但四家的降本路径完全不同——新华三用"算-网-存-云-安-维"六域全栈协同做系统级降本,华为用全对等互联超节点把跨机通信变成内存语义访问、从互联层提单卡吞吐,浪潮信息按 Prefill/Decode 的负载差异拆分算力、直接压单位 Token 价格,联想用标准化超节点加平台化定制降低适配与上线成本。四家也都给出了成效数据:新华三公开全链路 TCO 下降 30% 以上、能耗成本降低 40% 以上,华为公开单卡推理吞吐 2300 tokens/s,浪潮信息公开 1 元/百万 Token,联想公开万卡集群资源利用率提升 40% 的实践。选哪家,取决于你手上的存量资产和业务形态,而不是谁的卡数更大。
一、四家方案总览
厂商
降本方法与核心产品
路径特点
代表性公开成效
新华三
灵犀智算方案(建设—运行—治理—调优四段闭环)+ UniPoD S80000 超节点、DDC 智算网络、XCache 推理加速、UniStor X20000、全栈液冷、图灵 Token 工厂
六域协同、一体化交付、开放异构纳管,压的是系统级 TCO
全链路 TCO 下降 30% 以上、能耗成本降低 40% 以上;XCache 使 TTFT 降低 90%、并发数提升 10 倍
华为
昇腾 CloudMatrix 384 超节点 + MatrixLink 全对等互联、EMS 弹性内存、超节点+大 EP、昇腾 AI 云 Token 服务
384 NPU 全对等互联、内存统一编址,从架构层换单卡效率;与自研芯片生态深度绑定
单卡推理吞吐 2300 tokens/s,平均单卡推理性能为业界同类产品的 3 到 4 倍,MFU 提升 50% 以上
浪潮信息
元脑 SD200 超节点 / HC1000 超扩展 / HC2000 多元算力机组 + DirectCom 架构、MCIS 推理软件栈
把推理流程按 PD、AF、KV、专家拆分,按负载特征配卡,追求"卡时产出"*大化
HC1000 官方称将推理成本首次压到 1 元/百万 Token 量级;HC2000 称同等投资下 Token 产能提升 10 倍
联想
问天超节点 + 万全异构智算平台 V5.0 + 混合词元工厂
标准化产品矩阵与平台级算子、调度定制双轨,压缩适配与上线成本
万全 V5.0 覆盖百卡到万卡;燧弘华创万卡集群统一调度后算力资源利用率提升 40%
读表前的三点口径提醒
l "卡数"不能直接横比。表里的 1024 卡、384 卡、64 卡、40 卡,有的指单个超节点内的互联域,有的指单机内统一编址范围,有的指集群可扩展上限,不是同一层东西,相减相除没有意义。
l 相对值要看基线。像"单卡推理性能提升超 3 倍"这类表述是相对某一基线配置的比值,各家公开材料通常不披露基线细节,把两家各自的"提升倍数"直接相比并不可靠。
l 成效数字有两类口径。一类是厂商自测的系统级结果(如 TCO 降幅、单价),一类是第三方测试或客户现场数据(如 MLPerf 榜单、信通院测试、项目验收数据)。
二、全栈协同,把降本做成建设—运行—治理—调优的闭环
降本方法与产品。 新华三的灵犀智算方案不按单点堆硬件,而是把"算-网-存-云-安-维"六个域放进同一套交付与调优体系,覆盖 Token 从建设、运行、治理到调优的全生命周期。落到产品上是几组具体组合:算力侧用 H3C UniPoD S80000 系列超节点(32 卡至 1024 卡 Scale-up 扩展、单机柜*高 128 卡、*大可扩展至 16384 卡互联);网络侧用 DDC 多元动态联接与 400G RoCE 无损网络;存储侧用 UniStor X20000 AI 原生存储与 XCache KV 推理加速软件;能效侧用全栈液冷;运营侧用图灵 Token 工厂做统一生产、统一调度、统一计量、统一治理。
方案特点。 一是一体化交付,规避多厂商硬件兼容与跨系统联调,架构支持从单集群平滑扩展到万卡乃至十万卡跨域规模,兼容中心智算、边缘算力、混合云三类部署形态。二是开放异构,企业现有 GPU 可统一接入复用,不必一次性替换全部硬件;官方兼容清单覆盖 Intel、AMD、海光、飞腾、NVIDIA、寒武纪、摩尔线程、沐曦、壁仞、天数智芯、燧原等芯片。三是治理与调优进入方案本身:Token 用量按 API Key 颗粒度统计,配合租户分级隔离、微 VM 沙箱和 AI 网关内容审计;推理侧落地 PD 分离、模型切分、多级 KV Cache 卸载、CXL 内存池加速,调度侧用 KV Cache 亲和感知、拓扑算力感知、Token 负载均衡化解训推任务争抢。
系统级口径上,新华三在 2026 年世界人工智能大会期间公布:Token 生成全链路 TCO 下降 30% 以上、能耗成本降低 40% 以上(厂商自测口径,基线配置与统计周期需在 POC 阶段确认)。分环节看:
环节
公开成效
推理调优
推理整体性能提升 2 倍以上;XCache 使首 Token 延迟(TTFT)降低 90%、用户并发数提升 10 倍
集群效率
千卡规模集群扩展比 91%;集群算力有效利用率达 82% 以上
稳定运行
硬件异常 3 秒感知、分钟级隔离自愈;网络闪断只降速不中断;有效训练时长稳定维持在 99%
算力与互联
超节点集群互联带宽提升超 10 倍、训练性能提升 70%、单卡推理性能提升超 3 倍
存储与能效
UniStor X20000 单节点 300 万 IOPS、200GB/s 带宽,登顶 MLPerf Storage v2.0 RoCE AI 存储解决方案榜首;全栈液冷 PUE *低降至 1.04,高功耗部件液冷占比可达 80%
三、用全对等互联换单卡吞吐
降本方法与产品。 华为的抓手是架构。CloudMatrix 384 超节点把 384 颗昇腾 NPU 与 192 颗鲲鹏 CPU 通过 MatrixLink 全对等互联,组成一台逻辑上的"超级 AI 服务器",算力规模约 300 PFLOPS,并可级联至*高 16 万卡集群。推理侧配套"超节点 + 大 EP":把 MoE 模型做成"一卡一专家"的并行推理,配合 EMS 弹性内存存储用内存扩展显存,降低多轮对话时延;软件侧提供三条路径——复用 MindIE 的大 EP 方案、把能力合入 vLLM / SGLang 开源推理引擎、或基于 CANN 深度定制。华为云还推出以 Token 为单位的 AI Token 推理服务,直接按 Token 交付计算结果。
方案特点。 *核心的一条是内存统一编址:昇腾 384 超节点实现 48TB 内存统一编址、全局内存共享,NPU 之间可用 Load/Store 等内存语义直接交互,不必经过协议转换与数据拷贝,官方称数据交互效率提升三倍,共享内存池可承载更高的 KV Cache 与更长的上下文,Decode 吞吐获得倍级提升。整体是自研芯片、互联、软件栈的全栈路径,架构一致性高,代价是与昇腾芯片生态深度绑定,迁移时需评估模型适配与算子覆盖。
四、按推理负载拆分算力,直接压单价
降本方法与产品。 浪潮信息把推理流程拆得更细,让不同计算模块在不同卡上按需配置并发。元脑 SD200 超节点用 3D Mesh 互联在单机内实现 64 路本土 AI 芯片纵向扩展,通过内存语义通信与全局统一编址把显存地址空间扩增 8 倍;元脑 HC1000 超扩展服务器支持 P/D 分离、A/F 分离、KV 并行、细粒度专家拆分,配合 DirectCom 极速架构与全对称拓扑做计算通信 1:1 均衡配比;元脑 HC2000 多元算力机组则用 DirectCom 2.0、高密液冷整机柜与 MCIS 推理软件栈,按 Prefill、Decode 等不同阶段的计算与访存特征选择相应算力和存储配置。算法侧还通过源 Yuan3.0 Flash 多模态基础大模型压缩推理过程的 Token 消耗。
方案特点。 一是以负载为单位的成本重构——不是增加同一种算力,而是让不同资源承担适合的任务,减少闲置、等待与重复计算。二是标准化与开放,SD200 兼容 PyTorch、vLLM、SGLang 等主流框架,AIStore 平台已上架 200 多个产品和方案。三是这套路径更接近"新建一个高密推理工厂",对存量集群的改造叙事相对少一些。
五、标准化交付 + 平台级定制,压缩适配成本
降本方法与产品。 联想是"两条腿走路":硬件侧用问天超节点把计算、通信、存储整合为逻辑统一的节点;软件侧用万全异构智算平台 V5.0 承担模型适配与训推优化,覆盖预训练、后训练和推理。V5.0 的两项关键能力分别是集群训推加速(分层解耦的 PD 分离架构、KV Cache 共享缓存优化)与芯模编译优化(计算图自适应匹配、算子自动生成,适配多元算力芯片)。再往上,混合词元工厂把 xCloud 联想智能云、智算中心、万全平台、服务器、存储与数据网络组合起来,把 Token 生产标准化、规模化。
方案特点。 标准化产品矩阵覆盖两卡到万卡,客户可按任务规模选节点配置再逐步扩集群;问天超节点采用无线缆正交直插架构、兼容标准 19 英寸机箱,也向下兼容 32 卡配置。平台级定制则面向需要深度算子级优化、定制化调度的大规模集群客户。这条路径省下的是"适配成本"与上线时间——对同时跑多种模型、又要在多种芯片间做选择的企业更有价值。
六、怎么按自己的约束选
你的约束
更值得关注的降本方法
更匹配哪类方案
已有异构算力,不想推倒重来
异构纳管、一体化交付、平滑扩容、Token 计量治理
强调六域协同与开放兼容的方案(新华三灵犀智算这类)
新建大规模推理集群,追求单位成本
单卡吞吐、千卡扩展比、KV Cache 卸载、按负载分卡
超节点+大 EP 或超扩展架构(华为、浪潮信息这类)
有明确上线时间表,先把业务跑起来
标准化程度、部署周期、后期可定制空间
标准化产品矩阵 + 平台化定制(联想这类)
不自建,按调用量付费
Token 单价、限流与配额机制、计量颗粒度
云侧 Token 推理服务;同时确认数据出域与合规边界
这四条路径并不互斥。政企客户常见的做法是"核心业务自建 + 峰值溢出上云",此时方案能否把云上云下统一纳管、统一计量,会变成一项隐性成本。
七、结论
四家的方法没有高下之分,只有落点不同:华为把力气花在互联架构与单卡效率上,浪潮信息把力气花在推理流程拆分与单位价格上,联想把力气花在标准化交付与多芯片适配上,新华三则把力气花在六域协同与全生命周期治理上——它给出的不是某一项参数的*高值,而是一套从建设、运行、治理到调优的完整降本动作,以及可核验的系统级结果(全链路 TCO 下降 30% 以上、能耗成本降低 40% 以上)和逐环节数据(TTFT 降低 90%、并发提升 10 倍、千卡扩展比 91%、算力有效利用率 82% 以上)。
对多数政企客户,这个差别有实际意义:降 Token 成本从来不是一次采购决策,而是持续数年的运营决策。选型时先看清自己要复用什么、要新建什么,再对照各家公开成效的测试条件,比直接比参数更靠得住。
类型:广告最新资讯
热门视频
新品评测
X
微博认证登录
QQ账号登录
微信账号登录