搜索
蚂蚁集团发布两款创新 MoE 大模型，训练成本大幅降低
2025-03-24
蚂蚁集团Ling团队发布论文，介绍两款新型大语言模型：百灵轻量版和增强版，参数规模分别为168亿和2900亿。团队采用动态参数分配和混合精度调度等创新训练策略，在低性能硬件上实现高效训练，成本显著降低。实验证明，优化后使用低规格硬件训练成本降低近20%，性能与行业领先模型相当。这为国产大模型提供了经济高效的解决方案，减轻了对高端芯片的依赖。
