Ling-mini-2.0

Ling-mini-2.0 — это маленькая, но высокопроизводительная большая языковая Model, построенная на архитектуре MoE. Она имеет 16 миллиардов общих параметров, но только 1,4 миллиарда активируются на каждый token (не-Embedding 789 миллионов), что обеспечивает чрезвычайно быструю генерацию. Благодаря эффективному дизайну MoE и крупномасштабным высококачественным обучающим данным, несмотря на наличие всего 1,4 миллиарда активированных параметров, Ling-mini-2.0 все равно демонстрирует высочайшую производительность в downstream задачах, сопоставимую с плотными LLM до 10 миллиардов и даже более крупными моделями MoE.