step3

Step3 是從 StepFun 開發的一個尖端多模態推理模型。它建立在一個專家混合（MoE）架構上，總參數為 321B，活動參數為 38B。該模型被設計成端到端以在提供高級性能的同時最小化解碼成本。通過多矩陣因子化注意（MFA）和注意-FFN 分解（AFD）協同設計，Step3 在旗艦和低端加速器上均保持卓越的效率。在預訓練期間，Step3 處理了超過 20T 的文本標記和 4T 的圖像文本混合標記，涵蓋了十多種語言。該模型在開源模型的各種基準測試中，包括數學、代碼和多模態性，已達到了先進的性能。