Ling-flash-2.0 是来自 inclusionAI 的一种语言模型，拥有总共1000亿个参数，其中每个 token 激活了61亿个（48亿个非Embedding）。作为 Ling 2.0 架构系列的一部分，它被设计为一种轻量级但强大的专家混合（MoE）模型。它旨在提供可与40B级密集模型和其他更大的 MoE 模型相媲美甚至超越的性能，但活跃参数数量明显更少。该模型代表了一种策略，专注于通过极端的架构设计和训练方法实现高性能和高效率。...