arXiv cs.SE· Mithun Sasidharan, Srinivasan Manoharan, Rupesh Thakur, Abhinav TK, Ashwin Hegde, Anand Gautam·· 2 小时前AI 评分58
PayPal 在 Envoy 上构建多厂商 LLM 网关 Cosmos 的设计与运营
Governing Enterprise AI Traffic at Scale: Design and Operation of a Policy-Driven, Multi-Vendor LLM Gateway on Envoy
AI 导读
PayPal 公开了企业 LLM 网关 Cosmos 的设计与生产运营情况，该网关基于 Envoy，把鉴权、凭证代理和策略预算评估放在进程外服务，把格式转换、token 计量和 prompt 缓存整形放在 Rust WebAssembly 过滤器内。
来源：arXiv cs.SE · arxiv.org