ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B 是由百度基於專家混合（MoE）架構開發的大型語言模型。該模型總共有 3000 億參數，但在推理過程中每個標記僅啟用 470 億參數，從而在強大性能與計算效率之間取得平衡。作為 ERNIE 4.5 系列的核心模型之一，它在 PaddlePaddle 深度學習框架上進行訓練，在文本理解、生成、推理和編碼等任務中展現出卓越的能力。這個模型利用創新的多模態異構 MoE 預訓練方法，通過對文本和視覺模態的聯合訓練，有效提升其整體能力，在指令遵循和世界知識記憶方面表現出色。百度已經開源此模型和該系列中的其他模型，以促進人工智能技術的研究和應用。