ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47Bは、Baiduによって開発された大規模言語Modelであり、Mixture-of-Experts (MoE)アーキテクチャに基づいています。このModelは合計3000億のパラメータを持っていますが、tokenごとのInferenceでは470億のパラメータのみを活性化し、強力なパフォーマンスと計算効率を両立させています。ERNIE 4.5シリーズのコアModelの一つとして、PaddlePaddle深層学習フレームワーク上でトレーニングされ、Text理解、生成、推論、コーディングなどのタスクで優れた能力を示しています。このModelは革新的なMultimodal異種MoE事前トレーニング手法を利用しており、Textと視覚モダリティの共同トレーニングを通じてその全体的な能力を効果的に向上させ、指示に従うことや世界の知識記憶において顕著な結果を示しています。BaiduはAI技術の研究と応用を促進するために、このModelを含むシリーズの他のモデルをオープンソース化しています。