天数智芯天垓300对标H200：国产GPU开始比实际推理产出

思聪网 TechGG.com 报道

AI服务接到一条长请求后，需要先读完输入，再逐步生成答案。用户等待多久、服务器同时能处理多少请求，取决于模型和推理系统怎样配合，单看芯片的峰值算力很难回答。

国产GPU厂商天数智芯近期公布的天垓300测试，将比较重点放到了这些实际工作负载上。DIGITIMES于11月2日报道称，天垓300在部分大模型推理、长上下文和多模态生成测试中，部分指标超过英伟达H200。需要纠正的是，天垓300属于天数智芯，并非燧原科技。

同一块GPU，面对不同请求可能有不同表现

大模型推理包含两类重要工作：预填充阶段处理输入内容，解码阶段逐步生成后续Token。前者和后者对计算、显存及数据移动的需求不同，也会受到输入长度、并发量和批处理方式影响。

英伟达的技术文档将预填充与解码分离，作为推理系统的一种优化方式：为两个阶段分别安排资源，使其能够独立扩展和调整。

这也解释了为什么一次端到端测试，不能完全归因于芯片。服务器配置、模型量化、算子优化和请求调度，都可能改变最终吞吐与延迟。

对于MoE模型，虽然每个Token只激活部分专家，系统仍需处理专家权重和请求路由。激活计算量下降之后，其他环节可能变得更突出。因此，一块GPU在某类模型中的优势，不能自动延伸到所有稠密模型、训练任务和多卡集群。

“部分领先”需要落到可重复的条件

有关天垓300的公开报道还提到，公司公布的第三方测试在典型预填充、解码分离部署下，折算单卡端到端吞吐达到H200的1.05倍。这个数字应连同部署方式理解，不能简化成“芯片整体性能高出5%”。

要判断结果是否适用于自己的业务，客户还需要知道测试模型、数值精度、输入输出长度、卡数、并发设置和软件版本。尤其是在比较量化方案时，速度提升是否伴随输出质量变化，也需要同时检查。

目前可读材料不足以让本稿完整复现上述比较，因此只能将其作为公司公布、媒体报道的特定测试结果呈现。

从芯片到可用服务，软件仍是重要一环

天数智芯已有天垓100、天垓150和智铠等产品，其官网也将软件栈单独列为产品组成。

这反映出GPU交付的完整性要求：客户需要安装环境、迁移模型、处理不支持或效率较低的算子，并在长时间运行中排查问题。一个测试能够跑得快，是进入客户验证流程的有用证据；能否持续维持服务，则还要看兼容性、稳定性和维护成本。

天垓300此次受到关注，说明国产GPU的比较正在进入具体模型和系统配置。后续更值得观察的是，同一套性能是否能被不同客户复现，以及迁移后能否形成稳定的业务产出。