QwQ-32B

QwQ — это рассуждающая модель серии Qwen. По сравнению с обычными моделями с настройкой на инструкции, QwQ, способная думать и рассуждать, может добиться значительно улучшенной производительности в последующих задачах, особенно в сложных проблемах. QwQ-32B — это средняя по размеру рассуждающая модель, способная достигать конкурентных показателей в сравнении с передовыми рассуждающими моделями, например, DeepSeek-R1, o1-mini. Модель включает такие технологии, как RoPE, SwiGLU, RMSNorm и Attention QKV bias, с 64 слоями и 40 Q головы внимания (8 для KV в архитектуре GQA)