arXiv cs.SE· Shuo Liu, Hao Ning, Jacky Keung, Zhen Yang, Xiao Yu, Xing Hu, Yicheng Sun·· 1 小时前AI 评分36
SynMOE:面向代码智能的语法感知 MOE 引导 PEFT 方法
SynMOE: A Syntax-Aware MOE-Guided Approach for PEFT-Based Code Intelligence Learning
AI 导读
研究者提出 SynMOE,一种语法感知的 MOE 引导 PEFT 方法,用于代码智能学习。该方法先从抽象语法树(AST)提取语法标签并与代码 LM 的输入 token 对齐,再把标签接入 MOE 模块参与路由决策。在 LoRA 和 (IA)^3 两种 PEFT 方法、三类代码智能任务上,SynMOE 均取得稳定提升,性能与全量微调相当或更优且计算更省。
来源:arXiv cs.SE · arxiv.org