商汤大装置称日均Token服务量达6万亿

商汤大装置副总裁、CTO宣善明在第十届 CSDI Summit 上称，商汤大装置平台日均 Token 服务量已达 6 万亿，预计 2026 年全年 Token 服务规模增长 25 倍，第四季度达到日均 10 万亿 Token。 宣善明在演讲中介绍异构推理集群实践，并称未来的 AF 分离有望带来单卡吞吐提升 150% 至 200%、运营成本降低 30% 至 40%、整体能效提升至原来的两倍以上；他同时表示，相关收益仍取决于具体模型架构、硬件配置和系统实现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。