Ling-flash-2.0은 InclusionAI에서 제작한 언어 Model로 총 1000억 개의 매개변수를 가지고 있습니다. 이 중 61억 개는 token당 활성화되며, 48억 개는 비-Embedding입니다. Ling 2.0 아키텍처 시리즈의 일환으로서, 가벼우면서도 강력한 전문가 혼합(Mixture-of-Experts, MoE) Model로 설계되었습니다. 이 Model은 40B 레벨의 밀집 Model 및 다른 더 큰 MoE Model과 비교하여 성능을 비슷하거나 그 이상으로 제공할 것을 목표로 하지만, 활성화되는 매개변수 수는 상당히 적습니다. 이 Model은 극한의 아키텍처 디자인 및 훈련 방법을 통해 높은 성능과 효율성을 달성하는 데 중점을 둔 전략을 나타냅니다....