MAP4CS:面向高效代码检索器微调的多维数据剪枝框架
MAP4CS 是一个自适应数据剪枝框架,通过融合语法结构、语义多样性与分布表示,并配合规则过滤流程,从大规模代码语料中筛选出小型高质量核心子集。在两个大规模数据集上,它仅用 5% 训练数据即持续优于随机采样基线,性能可媲美甚至超过全量数据微调。分析显示,MAP4CS 能对冗余语料自动去重、对混乱语料自动去噪。
MAP4CS 是一个自适应数据剪枝框架,通过融合语法结构、语义多样性与分布表示,并配合规则过滤流程,从大规模代码语料中筛选出小型高质量核心子集。在两个大规模数据集上,它仅用 5% 训练数据即持续优于随机采样基线,性能可媲美甚至超过全量数据微调。分析显示,MAP4CS 能对冗余语料自动去重、对混乱语料自动去噪。
Unsloth 发布 v0.1.905-beta,为 Windows、Mac 和 Linux 引入沙箱机制,分别使用 MXC、Seatbelt 和 Bwrap 隔离模型运行的代码。
推荐理由:Unsloth 新增跨平台沙箱与决策模型训练流程,读者可据此判断本地微调与部署的可用性变化。
Google 发布 autofinetune 项目,把自主研究循环用于 LLM 后训练,基于 Tunix、Gemma 和 Cloud TPU,由 Antigravity CLI 与 Gemini Flash 3.7 编排。
推荐理由:原文给出自主后训练循环的完整配置与两个真实案例,可据此迁移到自己的微调流程。