step3

Step3 adalah model penalaran Multimodal mutakhir dari StepFun. Itu dibangun pada arsitektur Mixture-of-Experts (MoE) dengan total 321B parameter dan 38B parameter aktif. Model ini dirancang end-to-end untuk meminimalkan biaya decoding sambil memberikan performa kelas atas dalam penalaran vision-language. Melalui desain bersama Multi-Matrix Factorization Attention (MFA) dan Attention-FFN Disaggregation (AFD), Step3 mempertahankan efisiensi yang sangat baik di kedua akselerator unggulan dan kelas bawah. Selama prapelatihan, Step3 memproses lebih dari 20T text tokens dan 4T image-text mixed tokens, melintasi lebih dari sepuluh bahasa. Model ini telah mencapai performa state-of-the-art untuk model open-source di berbagai tolok ukur, termasuk matematika, kode, dan multimodalitas.