Ling-flash-2.0 是來自 inclusionAI 的一個語言模型，總共有 1000 億參數，其中 61 億在每個 token（48 億非嵌入）中被激活。作為 Ling 2.0 架構系列的一部分，它被設計為一個輕量級但功能強大的專家混合（Mixture-of-Experts, MoE）模型。其目的是在性能上達到與 400 億級密集模型和其他大型 MoE 模型相當甚至超越的水平，但具有顯著更小的活躍參數數量。該模型代表了一種通過極端架構設計和訓練方法實現高性能和效率的策略。...