Ling-flash-2.0 是來自 inclusionAI 的一個語言模型，總共有 1000 億參數，其中 61 億在每個 token（48 億非嵌入）中被激活。作為 Ling 2.0 架構系列的一部分，它被設計為一個輕量級但功能強大的專家混合（Mixture-of-Experts, MoE）模型。其目的是在性能上達到與 400 億級密集模型和其他大型 MoE 模型相當甚至超越的水平，但具有顯著更小的活躍參數數量。該模型代表了一種通過極端架構設計和訓練方法實現高性能和效率的策略。...

Ling-mini-2.0 是一個小型但高性能的大型語言模型，基於 MoE 架構構建。它總共有 160 億個參數，但每個 token 僅激活 14 億（非嵌入 7.89 億），從而實現了極快的生成速度。由於高效的 MoE 設計和大規模高品質的訓練數據，儘管僅有 14 億激活參數，Ling-mini-2.0 仍然能夠提供與低於 100 億密集 LLM 和更大 MoE 模型相媲美的頂級下游任務性能。...

Ring-flash-2.0 是一個高效能的思考模型，基於 Ling-flash-2.0-base 深度優化。它是一個專家混合（MoE）模型，總共擁有 100B 參數，但每次推理僅啟動 6.1B。該模型利用自主開發的 'icepop' 演算法來解決 MoE LLMs 強化學習（RL）中訓練不穩定的挑戰，使其能夠在延長的 RL 訓練周期中持續提升其複雜推理能力。Ring-flash-2.0 在數學競賽、程式碼生成和邏輯推理等具有挑戰性的基準上顯示出顯著的突破。其表現超越了 40B 參數以下的 SOTA 密集模型，並與較大型的開源重量 MoE 模型和封閉源高效能思考模型 API 相媲美。更令人驚訝的是，雖然 Ring-flash-2.0 主要設計為複雜推理，但它在創意寫作方面也顯現出強大的能力。得益於其高效架構，它實現了高速推理，顯著降低了高併發場景下思考模型的推理成本。...