模型
百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构
导读
百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调或后训练,交由开发者自行处理,后续将推出后训练版本。模型采用 MoE 架构,总参数 280B、每输入激活 14B,预训练数据 33.5 万亿 token,训练上下文最长 128,000 token,微调和推理设计上支持到 100 万 token。
模型
百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调或后训练,交由开发者自行处理,后续将推出后训练版本。模型采用 MoE 架构,总参数 280B、每输入激活 14B,预训练数据 33.5 万亿 token,训练上下文最长 128,000 token,微调和推理设计上支持到 100 万 token。