Baidu выпустила веса ERNIE 5.5 Flash с контекстом до 1 млн токенов
Разреженная модель на 280 млрд параметров активирует 14 млрд на токен, но лицензия исключает ЕС, Великобританию и Южную Корею.
Baidu выпустила веса ERNIE 5.5 Flash Base в форматах FP8 и BF16. Это разреженная Mixture-of-Experts-модель с 280 млрд параметров, из которых для каждого токена активируются 14 млрд. Компания утверждает, что обучила её с нуля на 33,5 трлн токенов. Контекст при обучении достигает 128 тыс. токенов, а при дообучении и inference — 1 млн.
Это базовый чекпойнт сразу после pre-training, без instruction tuning и другого post-training. Он предназначен для команд, которые хотят создавать отраслевые модели, сравнивать методы alignment или проводить эксперименты с reinforcement learning, а не для использования как готовый чат-ассистент. Baidu опубликовала инструкции по запуску через SGLang и vLLM.
В собственной унифицированной оценке Baidu модель набрала 78,4 балла в MMLU-Pro и 82,3 в HumanEval+, опередив указанные результаты DeepSeek-V4-Flash-Base. Это заявленные производителем показатели, и ERNIE лидирует не во всех тестах.
У весов есть существенные лицензионные ограничения. Лицензия не разрешает использование в ЕС, Великобритании и Южной Корее. Бесплатное коммерческое применение допускается только при годовой выручке связанных продуктов и сервисов не более 50 млн долларов, требует однократного уведомления Baidu и маркировки «Powered by ERNIE». Для более крупных проектов нужно письменное разрешение. Выводы модели нельзя использовать для улучшения несвязанных AI-моделей.
Baidu
