TRL Releases· qgallouedec·· 11 小时前AI 评分46
TRL v1.15.0 发布:融合 LM head 让同卡序列长度最高提升 6.9 倍
v1.15.0
AI 导读
TRL v1.15.0 引入默认开启的融合 LM head,用 Triton kernel 分块投影隐藏状态、直接归约出 per-token log-probs 和熵,不再构建 [batch, seq, vocab] logits 张量。
来源:TRL Releases · github.com
v1.15.0
TRL v1.15.0 引入默认开启的融合 LM head,用 Triton kernel 分块投影隐藏状态、直接归约出 per-token log-probs 和熵,不再构建 [batch, seq, vocab] logits 张量。
来源:TRL Releases · github.com