Компания Meta представила новое поколение искусственного интеллекта — Llama 4, которое выделяется уникальными характеристиками и подходом к разработке генеративных моделей.
Об этом сообщает ProIT
Особенности моделей Llama 4
Llama 4 состоит из трех различных моделей с уникальными параметрами:
- Scout: 17 миллиардов активных параметров с контекстным окном в 10 миллионов токенов.
- Maverick: 17 миллиардов активных параметров с контекстным окном в 1 миллион токенов.
- Behemoth: Модель, находящаяся в разработке с 288 миллиардами активных параметров.
Все модели обучены на огромных объемах неструктурированных текстовых, видео и изображенческих данных, охватывающих 200 языков. Они используют архитектуру «mixture-of-experts».