解读 MoE 大语言模型中专家在个性化中的作用

研究提出对稀疏 MoE 大语言模型进行个性化，通过专家路由降低多义性并实现可定位的个性化控制。团队在三个开源权重 MoE LLM 上训练 crosscoder，识别出编码不同个性化特征的专家，其性能与稠密 LLM 相当但仅激活部分参数。因果干预表明，这些个性化隐变量足以恢复个性化模型行为，增强相关专家可将非个性化模型推向该行为。