SpecPilot：为投机解码自动发现算法与系统优化

SpecPilot 提出一个自主智能体循环，为每种部署自动发现算法与系统优化，以最大化投机解码加速且不损失质量。它发现了通用无损 12-bit 权重格式、面向混合循环目标的树验证、两级验证和三种批处理机制。在四个目标模型、三个 drafter、两个 GPU 平台和五个基准上，单请求加速比从 stock 的 4.46 倍提升到 10.87 倍，批处理场景从 1.94 倍提升到 3.93 倍。