約Ling-mini-2.0
Ling-mini-2.0は、小型でありながら高性能な大規模言語Modelで、MoEアーキテクチャに基づいて構築されています。総パラメータは16Bですが、tokenごとにアクティブ化されるのはわずか1.4B（非Embedding 789M）であり、非常に高速な生成が可能です。効率的なMoE設計と大規模高品質なトレーニングデータのおかげで、1.4Bのアクティブ化パラメータしか持たないにもかかわらず、Ling-mini-2.0はサブ10Bの密集LLMやさらに大きなMoE Modelに匹敵するトップクラスの下流タスクパフォーマンスを提供します。
メタデータ
仕様
州
Deprecated
建築
MoE
キャリブレートされた
はい
専門家の混合
はい
合計パラメータ
16B
アクティブ化されたパラメータ
1.4B
推論
いいえ
Precision
FP8
コンテキスト長
131K
Max Tokens
131K
inclusionAI
chat
Ling-flash-2.0
Total Context:
131K
Max output:
131K
Input：
$
0.14
/ M Tokens
Output:
$
0.57
/ M Tokens
inclusionAI
chat
Ling-mini-2.0
Total Context:
131K
Max output:
131K
Input：
$
0.07
/ M Tokens
Output:
$
0.28
/ M Tokens
inclusionAI
chat
Ring-flash-2.0
Total Context:
131K
Max output:
131K
Input：
$
0.14
/ M Tokens
Output:
$
0.57
/ M Tokens
inclusionAI
chat
Ring-1T
Total Context:
131K
Max output:
Input：
$
0.57
/ M Tokens
Output:
$
2.28
/ M Tokens
inclusionAI
chat
Ling-1T
Total Context:
131K
Max output:
Input：
$
0.57
/ M Tokens
Output:
$
2.28
/ M Tokens
