ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B是百度根据专家混合（MoE）架构开发的大型语言模型。该模型总共有3000亿个参数，但在推理期间每个token仅激活47亿个参数，从而在强大的性能和计算效率之间取得平衡。作为ERNIE 4.5系列的核心模型之一，它在PaddlePaddle深度学习框架上进行训练，并在文本理解、生成、推理和编码等任务中展现出卓越的能力。该模型采用创新的异构Multimodal MoE预训练方法，通过文本和视觉模态上的联合训练，有效增强其整体能力，在指令执行和世界知识记忆方面表现突出。百度已开源此模型及系列中的其他模型，以促进AI技术的研究和应用。