百度开源 ERNIE-5.5-Flash-Base 基座模型

导读

百度发布 ERNIE-5.5-Flash-Base 基座模型权重，为 280B 总参数、每 token 激活 14B 的稀疏 MoE 模型，从头在 33.5T tokens 上预训练，训练上下文达 128K，微调和推理支持 1M-token 上下文。