arXiv cs.SE· Qingyue Wang, Yudong Gao, Lixia Wang, Ruixuan Huang, Yuanyuan Yuan, Yangqiu Song, Shuai Wang·· 2 小时前AI 评分29
CertMoE：面向 MoE 大语言模型的路由感知鲁棒性认证框架
CertMoE: Robustness Certification for Mixture-of-Experts LLMs via Routing-Aware Smoothing
AI 导读
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由约束在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由使现有方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
来源：arXiv cs.SE · arxiv.org