step3

Step3는 최첨단 멀티모달 추론 Model이며, StepFun에서 개발했습니다. 321B의 총 매개변수와 38B의 활성 매개변수로 구성된 Mixture-of-Experts (MoE) 아키텍처에 기반하고 있습니다. 이 Model은 비전-언어 추론에서 최고 수준의 성능을 제공하면서 디코딩 비용을 최소화하도록 엔드 투 엔드로 설계되었습니다. Multi-Matrix Factorization Attention (MFA)와 Attention-FFN Disaggregation (AFD)의 공동 설계를 통해 Step3는 주력 가속기와 저급 가속기 모두에서 뛰어난 효율성을 유지합니다. 사전 학습 동안 Step3는 20T 이상의 Text tokens와 4T 이미지-Text 혼합 tokens를 처리했으며, 10개 이상의 언어를 걸쳐 있습니다. 이 Model은 수학, 코드, 멀티모달리티를 포함한 다양한 벤치마크에서 오픈 소스 모델의 최신 성능을 달성했습니다.