Ling-flash-2.0 は inclusionAI の言語 Model で、合計 1,000 億パラメーターを持ち、そのうち 61 億は token ごとにアクティブ化されます（48 億は非 Embedding）。Ling 2.0 アーキテクチャシリーズの一部として、軽量でありながら強力な専門集団（MoE） Model として設計されています。40B レベルの密集 Model や他の大規模な MoE Model に匹敵する、またはそれを超える性能を提供することを目指していますが、アクティブなパラメーター数は大幅に少なくなっています。この Model は、極端なアーキテクチャのデザインとトレーニング手法を通じて高性能と効率を達成することに焦点を当てた戦略を表しています。...

Ling-mini-2.0は、小型でありながら高性能な大規模言語Modelで、MoEアーキテクチャに基づいて構築されています。総パラメータは16Bですが、tokenごとにアクティブ化されるのはわずか1.4B（非Embedding 789M）であり、非常に高速な生成が可能です。効率的なMoE設計と大規模高品質なトレーニングデータのおかげで、1.4Bのアクティブ化パラメータしか持たないにもかかわらず、Ling-mini-2.0はサブ10Bの密集LLMやさらに大きなMoE Modelに匹敵するトップクラスの下流タスクパフォーマンスを提供します。...

Ring-flash-2.0は、Ling-flash-2.0-baseに基づいて深く最適化された高性能思考モデルです。これは、合計100Bのパラメータを持つ専門家混合（MoE）Modelですが、Inferenceごとに起動するのはわずか6.1Bです。このModelは、強化学習（RL）におけるMoE LLMsのトレーニング不安定性の課題に対処するために独自に開発された「icepop」アルゴリズムを活用しており、拡張されたRLトレーニングサイクル全体でその複雑な推論能力を継続的に向上させます。Ring-flash-2.0は、数学コンペティション、コード生成、論理的推論を含む挑戦的なベンチマークで大幅な突破を示しています。その性能は、40Bパラメータ未満のSOTA密集モデルを凌ぎ、より大きなオープンウェイトのMoE Modelやクローズドソースの高性能思考Model APIに匹敵します。より驚くべきことに、Ring-flash-2.0は主に複雑な推論のために設計されていますが、創造的なライティングにも強い能力を示します。その効率的なアーキテクチャのおかげで、高速Inferenceを達成し、高並列シナリオでの思考ModelのInferenceコストを大幅に削減します。...