万象资讯
美团开源万亿参数大模型LongCat-2.0 国产算力集群完成全流程训练

7月6日,美团宣布将万亿参数大模型LongCat-2.0正式开源,并同步开放针对国产算力芯片深度优化的推理代码。

该模型总参数达1.6万亿,平均激活约480亿参数,采用MoE(混合专家)架构,原生支持100万token超长上下文输入。

据披露,LongCat-2.0是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。

在架构上,LongCat-2.0引入LongCat稀疏注意力机制(LSA)和N-gram Embedding,后者以135B参数投入新模块;后训练阶段采用多教师在线蒸馏,将专家分为Agent、推理和交互三类,兼顾自主执行、自适应推理与安全对齐。

美团同步提供BF16、FP8及INT8等多精度版本,覆盖不同算力平台部署需求。