8月10日消息，据报道，华为将于8月12日在2025金融AI推理应用落地与发展论坛上，发布AI推理领域的突破性技术成果。据悉，这项成果或能降低中国AI推理对HBM（高带宽内存）技术的依赖，提升国内AI大模型推理性能，完善中国AI推理生态的关键部分。
据了解，华为在AI推理领域的技术突破已有先例。2025年3月，北京大学联合华为发布了DeepSeek全栈开源推理方案，该方案基于北大自研SCOW算力平台系统和鹤思调度系统，整合了DeepSeek、openEuler、MindSpore与vLLM/RAY等社区开源组件，实现了华为昇腾上的DeepSeek高效推理。
在性能方面，华为昇腾已实现多项突破。例如CloudMatrix 384超节点部署DeepSeek V3/R1时，在50ms时延约束下单卡Decode吞吐突破1920Tokens/s；Atlas 800I A2推理服务器在100ms时延约束下单卡吞吐达到808 Tokens/s。科大讯飞与华为的合作也取得了显著成果，双方率先实现了国产算力上MoE模型的大规模跨节点专家并行集群推理，使推理吞吐提升3.2倍，端到端时延降低50%。
{{item.content}}