ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B 是由百度基於專家混合（MoE）架構開發的大型語言模型。該模型總共擁有 3000 億個參數，但在推理過程中每個 token 僅激活 470 億個參數，從而平衡了強大的性能和計算效率。作為 ERNIE 4.5 系列的核心模型之一，它在 PaddlePaddle 深度學習框架上進行訓練，並在文本理解、生成、推理和編碼等任務中展示出卓越的能力。該模型利用了一種創新的多模態異質 MoE 預訓練方法，通過在文本和視覺模態上的聯合訓練有效提升了其整體能力，在指令跟隨和世界知識記憶方面顯示出顯著的結果。百度已開源此模型及系列中的其他模型，以促進人工智能技術的研究和應用。