Ling-flash-2.0은 InclusionAI에서 제작한 언어 Model로 총 1000억 개의 매개변수를 가지고 있습니다. 이 중 61억 개는 token당 활성화되며, 48억 개는 비-Embedding입니다. Ling 2.0 아키텍처 시리즈의 일환으로서, 가벼우면서도 강력한 전문가 혼합(Mixture-of-Experts, MoE) Model로 설계되었습니다. 이 Model은 40B 레벨의 밀집 Model 및 다른 더 큰 MoE Model과 비교하여 성능을 비슷하거나 그 이상으로 제공할 것을 목표로 하지만, 활성화되는 매개변수 수는 상당히 적습니다. 이 Model은 극한의 아키텍처 디자인 및 훈련 방법을 통해 높은 성능과 효율성을 달성하는 데 중점을 둔 전략을 나타냅니다....

Ling-mini-2.0은 MoE 아키텍처를 기반으로 구축된 작지만 높은 성능을 자랑하는 대형 언어 모델입니다. 총 160억 파라미터를 가지고 있지만, token당 활성화되는 것은 14억 파라미터(Embedding 외 7억 8,900만)에 불과해 매우 빠른 생성이 가능합니다. 효율적인 MoE 설계와 대규모 고품질 훈련 데이터 덕분에, 비록 14억 개의 활성화된 파라미터만을 가지고 있지만 Ling-mini-2.0은 여전히 100억 미만의 밀집 LLM 및 더 큰 MoE Model에 비견할 만한 최상급 다운스트림 태스크 성능을 제공합니다....

Ring-flash-2.0은(는) Ling-flash-2.0-base에 기반한 고성능 사유 Model로서 깊이 최적화되었습니다. 이는 총 100B 매개변수를 가진 전문가 혼합(MoE) Model로서, Inference마다 6.1B만 활성화됩니다. 이 Model은 MoE LLM에서 강화 학습(RL)의 훈련 불안정성 문제를 해결하기 위해 독립적으로 개발된 'icepop' 알고리즘을 활용하여 확장된 RL 학습 사이클 전반에 걸쳐 복잡한 추론 능력을 지속적으로 향상시킵니다. Ring-flash-2.0은 수학 경시 대회, 코드 생성, 논리적 추론을 포함한 도전적인 벤치마크 전반에서 상당한 진전을 보여줍니다. 그 성능은 40B 매개변수 이하의 SOTA 밀집 Model을 넘어서는 동시에, 더 큰 공개 가중치 MoE Model 및 비공개 고성능 사유 Model API와 경쟁합니다. 더욱 놀라운 것은, Ring-flash-2.0은 주로 복잡한 추론을 위해 설계되었지만 창의적 글쓰기에서도 강력한 능력을 보여준다는 것입니다. 효율적인 아키텍처 덕분에 고속 Inference를 달성하여 높은 동시성 시나리오에서 사유 Model의 Inference 비용을 크게 줄입니다....