ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B es un modelo de lenguaje grande desarrollado por Baidu basado en una arquitectura de Mezcla de Expertos (MoE). El modelo tiene un total de 300 mil millones de parámetros, pero solo activa 47 mil millones de parámetros por token durante la inferencia, logrando así un equilibrio entre un rendimiento potente y la eficiencia computacional. Como uno de los modelos principales de la serie ERNIE 4.5, está entrenado en el marco de aprendizaje profundo PaddlePaddle y demuestra capacidades sobresalientes en tareas como la comprensión de Text, la generación, el razonamiento y la codificación. El modelo utiliza un método innovador de preentrenamiento MoE heterogéneo Multimodal, que mejora eficazmente sus capacidades generales mediante el entrenamiento conjunto en modalidades de Text y visuales, mostrando resultados destacados en el seguimiento de instrucciones y la memorización del conocimiento del mundo. Baidu ha lanzado este modelo como código abierto junto con otros de la serie para promover la investigación y la aplicación de la tecnología de IA.