ERNIE-4.5-300B-A47B

ERNIE-4.5-300B-A47B — это крупная языковая Model, разработанная Baidu на основе архитектуры Mixture-of-Experts (MoE). У этой Model в общей сложности 300 миллиардов параметров, но во время Inference активируется только 47 миллиардов параметров на один token, что позволяет сбалансировать мощную производительность с вычислительной эффективностью. Будучи одной из основных Models в серии ERNIE 4.5, она обучена на платформе глубокого обучения PaddlePaddle и демонстрирует выдающиеся возможности в таких задачах, как Text понимание, генерация, логическое мышление и кодирование. Model использует инновационный Multimodal гетерогенный метод предварительного обучения MoE, который эффективно улучшает ее общие способности через совместное обучение на тексте и визуальных модальностях, показывая выдающиеся результаты в следовании инструкциям и запоминании мировых знаний. Baidu открыла исходный код этой Model, а также других в серии, чтобы способствовать исследованию и применению AI технологии.