step3

Шаг 3 — это революционный модель многоуровневого рассуждения от StepFun. Она построена на архитектуре Mixture-of-Experts (MoE) с общим количеством параметров 321 млрд и 38 млрд активных параметров. Модель разработана по принципу «от начала до конца», чтобы минимизировать затраты на декодирование, обеспечивая первоклассную производительность в области Vision-языкового рассуждения. Посредством совместной разработки Multi-Matrix Factorization Attention (MFA) и Disaggregation Attention-FFN (AFD), Step3 поддерживает исключительную эффективность как на флагманских, так и на низкоклассных ускорителях. Во время предобучения Step3 обработала более 20 трлн text tokens и 4 трлн image-text смешанных tokens на более чем десяти языках. Модель достигла передовой производительности среди моделей с открытым исходным кодом на различных тестах, включая математику, код и Multimodal.