arXiv cs.SE· Yuxuan Chen, Mingwei Liu, Guangsheng Ou, Zekai Zhang, Zike Li, Yanlin Wang, Pelin Zheng·· 4 小时前AI 评分35
MAP4CS：面向高效代码检索器微调的多维数据剪枝框架
MAP4CS: A Multi-dimensional Data Pruning Framework for Efficient Code Retriever Fine-tuning
AI 导读
MAP4CS 是一个自适应数据剪枝框架，通过融合语法结构、语义多样性与分布表示，并配合规则过滤流程，从大规模代码语料中筛选出小型高质量核心子集。在两个大规模数据集上，它仅用 5% 训练数据即持续优于随机采样基线，性能可媲美甚至超过全量数据微调。分析显示，MAP4CS 能对冗余语料自动去重、对混乱语料自动去噪。
来源：arXiv cs.SE · arxiv.org