跳到正文
Hugging Face Daily Papers·· 3 天前精选AI 评分60

Dory1.0-4B:基于 nGPT 的循环式 40 亿参数语言模型

Dory1.0-4B: A Looped Normalized-GPT

AI 导读

Dory1.0-4B 是一个 40 亿参数的循环(潜空间递归)语言模型,通过重复应用共享循环块实现弹性深度,单个 checkpoint 可适配不同推理算力预算。

推荐理由

论文给出循环深度与 token 效率的量化关系,可对照理解潜空间重复计算这一路线。

来源:Hugging Face Daily Papers · huggingface.co