蚂蚁集团推出两款前沿 MoE 大模型，显著降低训练成本并提升效率

近日，蚂蚁集团的 Ling 团队在预印版 Arxiv 平台上发布了题为《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展3000亿参数混合专家 LING 大模型》的技术论文，介绍了他们研发的两款新型大语言模型:百灵轻量版（Ling-Lite）和百灵增强版(Ling-Plus)。这两款模型在设计上采用了多项创新，能够在低性能硬件上高效训练，显著降低了成本。

百灵轻量版的参数规模为168亿，其中激活参数为27.5亿。而增强版的基座模型则拥有高达2900亿的参数，激活参数为288亿。这两款模型的性能均达到行业领先水平，尤其是增强版，其3000亿参数的 MoE 模型在使用国产 GPU 的低性能设备上进行训练时，表现与高端英伟达芯片的模型相当。

图源备注：图片由AI生成，图片授权服务商Midjourney

通常，MoE 模型的训练需要依赖昂贵的高性能 GPU，如英伟达的 H100和 H800，这不仅成本高昂，还受到芯片短缺的限制，从而影响了其在资源有限环境中的应用。为此，蚂蚁集团 Ling 团队提出了一个全新的目标 ——“不使用高级 GPU” 扩展模型，突破了资源和预算的限制。他们的创新训练策略包括动态参数分配、混合精度调度、以及升级的训练异常处理机制，这些策略有效地缩短了中断响应时间，并且优化了模型评估流程，压缩了验证周期超过50%。

在实验中，Ling 团队对9万亿个 token 进行了 Ling-Plus 的预训练。结果显示，使用高性能硬件配置训练1万亿 token 的成本约为635万元人民币，而采用蚂蚁的优化方法后，低规格硬件训练成本降至508万元左右，节省了近20%。同时，性能与阿里通义 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相当。

这一技术成果若能得到广泛应用，将为国产大模型提供更加经济高效的解决方案，减少对英伟达芯片的依赖，为未来的人工智能发展开辟新道路。