TokenRouter：token级LLM路由服务系统发布
热点事件观察中
TokenRouter：token级LLM路由服务系统发布
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
研究团队提出 TokenRouter，一个面向 token 级路由 LLM 推理的服务系统，并已在 GitHub 开源。该系统采用以请求为中心的编程、以模型为中心的执行方式，为每个 LLM 启动子服务器并异步分发请求；子服务器使用延迟批处理调度器，超参数由系统吞吐数学模型推导得出。 团队称，在不同路由算法、负载和模型组合下，TokenRouter 的解码吞吐比现有系统高 2.01-64.15 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 04:00
TokenRouter：面向 token 级 LLM 路由的高效服务系统报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- Hugging Face Daily Papers精选TokenRouter：面向 token 级 LLM 路由的高效服务系统
研究团队提出 TokenRouter，一个面向 token 级路由 LLM 推理的高效服务系统，采用以请求为中心的编程、以模型为中心的执行方式，为每个 LLM 启动子服务器并异步分发请求。其子服务器使用延迟批处理调度器，超参数由系统吞吐数学模型推导得出。在不同路由算法、负载和模型组合下，TokenRouter 的解码吞吐比现有系统高 2.01-64.15 倍，代码已在 GitHub 开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。