arXiv cs.SE· Albert Heekwan Kim·· 3 小时前AI 评分40
KORA:面向 AI 负载的确定性优先执行控制
KORA: Deterministic-First Execution Control for AI Workloads
AI 导读
论文提出 KORA,一个在推理前运行的控制层,把请求表示为任务路径,先尝试确定性或结构化路由,校验结果并记录遥测,仅在确定性处理不足时升级到模型候选路径。在可复现的 100 项确定性偏重基准中,KORA 相比朴素直接基线避免了 100 次模拟模型调用中的 80 次,确定性子集零不匹配。
来源:arXiv cs.SE · arxiv.org