Qwen3-Next-80B-A3B-Instruct

Qwen3-Next-80B-A3B-Instruct adalah model fondasi generasi berikutnya yang dirilis oleh tim Qwen dari Alibaba. Ini dibangun di atas arsitektur Qwen3-Next baru, yang dirancang untuk efisiensi pelatihan dan inference yang optimal. Model ini memasukkan fitur inovatif seperti mekanisme Hybrid Attention (Gated DeltaNet dan Gated Attention), struktur High-Sparsity Mixture-of-Experts (MoE), dan berbagai optimisasi stabilitas. Sebagai model sparse dengan 80 miliar parameter, model ini hanya mengaktifkan sekitar 3 miliar parameter per token selama inference, yang secara signifikan mengurangi biaya komputasi dan memberikan throughput lebih dari 10 kali lipat lebih tinggi daripada model Qwen3-32B untuk tugas konteks panjang yang melebihi 32K token. Ini adalah versi yang disetel untuk instruksi, dioptimalkan untuk tugas-tugas umum dan tidak mendukung mode 'pemikiran'. Dalam hal kinerja, model ini dapat dibandingkan dengan model unggulan Qwen, Qwen3-235B, pada beberapa tolok ukur, menunjukkan keunggulan signifikan dalam skenario konteks ultra-panjang.