跳到正文
The Decoder· Matthias Bastian·· 2 小时前精选AI 评分62

Anthropic 在 Claude 平台公测 Message Threads,长对话首 token 时间降低约 35%

Anthropic's Message Threads cut time to first token by 35 percent for long conversations

AI 导读

Anthropic 在 Claude 平台推出公测版 Message Threads,API 请求不再重发完整对话历史,只传输上一条消息之后变化的部分。据 Anthropic 数据,在 50 万至 100 万 token 的请求中,首 token 时间降低约 35%,编码智能体、computer-use 智能体和处理大量文档或图像的工作流受益最大。

推荐理由

原文说明了增量传输的机制与适用场景,读者可据此判断长对话 API 的延迟与成本边界。

来源:The Decoder · the-decoder.com