step3

ステップ3は、StepFunの最先端のマルチモーダル推論Modelです。これは、321Bの総パラメータと38Bのアクティブパラメータを持つMixture-of-Experts (MoE) アーキテクチャ上に構築されています。このModelは、Vision-Language推論においてトップクラスのパフォーマンスを提供しながらデコードコストを最小限に抑えるために、エンドツーエンドで設計されています。Multi-Matrix Factorization Attention (MFA) と Attention-FFN Disaggregation (AFD) の共同設計により、ステップ3はフラグシップおよび低エンドのアクセラレータの両方において卓越した効率を維持しています。プレトレーニング中に、ステップ3は20TのText tokenと4TのImage-Text混合tokenを処理し、10以上の言語にまたがりました。このModelは、オープンソースModelとして、数学、コード、マルチモダリティを含む様々なベンチマークにおいて最先端のパフォーマンスを達成しました。