昇腾大模型推理解决方案正式发布暨五大场景优秀实践，加速人工智能

  【天极网IT新闻频道】[中国，上海，2024年7月5日]昇腾人工智能产业高峰论坛2024在上海举办，会上华为正式发布昇腾大模型推理解决方案，并联合11家生态伙伴及客户发布基于昇腾大模型推理解决方案的五大场景优秀实践。

  昇腾大模型推理解决方案正式发布暨五大场景优秀实践

  为更好地匹配大模型的推理需求，华为基于昇腾AI基础软硬件，向业界提供使能推理应用快速开发、高效部署的大模型推理解决方案。该解决方案可通过启发式并行解码等系列化推理加速技术，实现应用吞吐*高6倍提升，满足业务SLO的同时，释放极致吞吐性能，让单位吞吐的成本更优。同时，既提供昇腾原生服务化能力，也支持对vLLM、TGI等三方服务框架的快速适配，实现应用天级上线，在满足模型表现的同时，通过极简服务适配，让业务上线时间更短。除此之外，为多机推理提供了完整的弹性推理软件栈，在满足TCO要求的同时，支持灵活弹性扩容，让推理系统面向大模型未来趋势具备更强的演进能力。以此，帮助伙伴和客户打造更贴合场景需求的推理系统。

  华为携手业界伙伴和客户不断创新，加速大模型应用落地到场景。会上，华为联合京东、科大讯飞、中国移动、中电信、WPS AI、中国联通、哔哩哔哩、商汤科技、生数科技、华为小艺、华为流程IT等11家生态伙伴及客户发布了基于昇腾大模型推理解决方案的五大场景优秀实践，共同见证人工智能大模型在“文本生成、文生视图、辅助编程、终端应用、智能办公/客服”等五大场景应用启航的历史时刻。

  大模型只有与应用场景相结合才能发挥*大的价值，五大场景优秀实践的发布是昇腾大模型解决方案与业界伙伴、客户的模型应用在大模型落地行业场景道路上走出的坚实一步，将为这些场景在提升工作效率、改善服务质量、推动创新发展方面提供助力，也为更多场景下的大模型应用提供了有益参考。

  未来，华为将继续携手伙伴基于昇腾AI进行大模型落地实践的联合创新，加速AI走深向实，助力经济和社会发展。