Ling-flash-2.0

Ling-flash-2.0 es un modelo de lenguaje de inclusionAI con un total de 100.000 millones de parámetros, de los cuales 6.100 millones se activan por token (4.800 millones que no son de Embedding). Como parte de la serie de arquitectura Ling 2.0, está diseñado como un modelo de Mezcla de Expertos (MoE) ligero pero potente. Su objetivo es ofrecer un rendimiento comparable o incluso superior al de los modelos densos de nivel 40B y otros modelos MoE más grandes, pero con un número de parámetros activos significativamente menor. El modelo representa una estrategia centrada en lograr un alto rendimiento y eficiencia a través de un diseño arquitectónico y métodos de entrenamiento extremos