Яндекс представил ИИ-модель на 80 млрд параметров, обученную с нуля

Яндекс разработал новую большую языковую модель Alice AI Foundation LLM с 80 млрд параметров. В отличие от ряда прошлых решений компании, её обучили полностью с нуля, не используя веса зарубежных моделей. Для обучения было задействовано 18 трлн токенов.

Модель создана на архитектуре Mixture of Experts: при обработке каждого токена активируются не все 80 млрд параметров, а примерно 3 млрд. Такой подход помогает снизить вычислительные затраты и сделать работу модели эффективнее. Кроме того, Яндекс открыл веса Alice AI Foundation LLM по лицензии Apache 2.0, что позволяет разработчикам изучать модель, дообучать её под собственные задачи и применять в коммерческих ИИ-проектах.

Источник: @prom_rf