arXiv cs.SE· Ruiqi Wang, Xinchen Wang, Cuiyun Gao, Chun Yong Chong, Xin Xia, Qing Liao·· 3 小时前AI 评分22
AXIOM：通过约束扰动与校准对代码 LLM-as-a-Judge 进行基准测试
Benchmarking Code LLM-as-a-Judge via Constrained Perturbation and Calibration
AI 导读
研究者提出 AXIOM，一个基于扰动的框架，用于构建代码评估基准。它通过质量约束的语义扰动精确控制程序质量分布，再经混合质量校准筛选语义多样的程序并简化人工标注，最终构建出包含 1,962 道代码评估题的多语言基准 AXIOMBENCH，其分数分布更均衡。
来源：arXiv cs.SE · arxiv.org