ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B adalah model bahasa besar yang dikembangkan oleh Baidu berdasarkan arsitektur Mixture-of-Experts (MoE). Model ini memiliki total 300 miliar parameter, tetapi hanya mengaktifkan 47 miliar parameter per token selama inference, sehingga menyeimbangkan kinerja yang kuat dengan efisiensi komputasi. Sebagai salah satu model inti dalam seri ERNIE 4.5, model ini dilatih pada kerangka kerja pembelajaran mendalam PaddlePaddle dan menunjukkan kemampuan luar biasa dalam tugas seperti pemahaman Text, pembangkitan, penalaran, dan pengkodean. Model ini memanfaatkan metode pra-pelatihan MoE heterogen Multimodal yang inovatif, yang secara efektif meningkatkan kemampuan keseluruhan melalui pelatihan bersama pada modalitas Text dan visual, menunjukkan hasil yang menonjol dalam mengikuti instruksi dan memori pengetahuan dunia. Baidu telah merilis sumber terbuka Model ini bersama dengan yang lain dalam seri untuk mempromosikan penelitian dan penerapan teknologi AI.