跳到正文
量子位· 量子位的朋友们·· 2 小时前精选AI 评分75

百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA

AI 导读

11月5日,百度正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用 MoE 架构,总参数 2800 亿、每 Token 激活 140 亿,预训练使用 33.5 万亿 Token,预训练上下文最高 128K,微调与推理阶段支持最长 100 万 Token 上下文。

推荐理由

文心5.5 Flash Base 以 2800 亿总参数、140 亿激活参数开源,并给出多项架构与训练机制改动,可供对比同尺寸基座模型。

来源:量子位 · qbitai.com