ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B는 Baidu에서 Mixture-of-Experts (MoE) 아키텍처를 기반으로 개발한 대형 언어 Model입니다. 이 Model은 총 3000억 개의 파라미터를 가지고 있지만, Inference 동안에는 token당 470억 개의 파라미터만 활성화하여 강력한 성능과 계산 효율성을 균형 있게 유지합니다. ERNIE 4.5 시리즈의 핵심 Model 중 하나로서 PaddlePaddle 심층 학습 프레임워크에서 훈련되었으며, text 이해, 생성, 추론, 코딩과 같은 작업에서 뛰어난 능력을 보여줍니다. 이 Model은 혁신적인 Multimodal 이종 MoE 사전 훈련 방법을 사용하여 text와 시각적 모달리티에 대한 공동 훈련을 통해 전반적인 능력을 효과적으로 향상시켰으며, 지시사항 준수 및 세계 지식 암기에서 두드러진 결과를 나타냅니다. Baidu는 AI 기술 연구와 응용을 촉진하기 위해 이 시리즈의 다른 Model과 함께 이 Model을 오픈 소스로 공개했습니다.