Ling-flash-2.0

Ling-flash-2.0 は inclusionAI の言語 Model で、合計 1,000 億パラメーターを持ち、そのうち 61 億は token ごとにアクティブ化されます（48 億は非 Embedding）。Ling 2.0 アーキテクチャシリーズの一部として、軽量でありながら強力な専門集団（MoE） Model として設計されています。40B レベルの密集 Model や他の大規模な MoE Model に匹敵する、またはそれを超える性能を提供することを目指していますが、アクティブなパラメーター数は大幅に少なくなっています。この Model は、極端なアーキテクチャのデザインとトレーニング手法を通じて高性能と効率を達成することに焦点を当てた戦略を表しています。