arXiv cs.SE· Ying Zhang, Ruoqi Guo, Yi Liu, Gelei Deng, Yuekang Li, Yepang Liu, Leo Zhang·· 2 小时前AI 评分58
研究揭示 LLM 智能体提示词缓存误集成问题并提出检测工具 CACHELINT
Silent and Costly: Characterizing and Detecting Prompt-Caching Mis-Integration in LLM Agents
AI 导读
该论文对 10 个开源智能体系统的 120 个提示词缓存相关 PR 做了实证研究,发现误集成来自请求侧配置错误和读取侧用量计数错误,且多数不会引发可观察的运行时故障。
来源:arXiv cs.SE · arxiv.org