DLite：面向智能体 AI 的免历史上下文推测解码

DLite 提出一种面向智能体 AI 的免历史上下文推测解码框架，不再显式维护历史 KV cache，而是直接复用目标模型的上下文隐藏状态做局部推测预测。作者指出，在智能体负载下现有草稿模型的接受长度最多下降 80%，而维护历史 KV cache 也带来大量系统开销。实验显示 DLite 在通用、长上下文和智能体负载上取得 2-6 的接受长度，比当前最优方法 DSpark 最高提升 70%。