Компанія Meta презентувала нове покоління штучного інтелекту — Llama 4, яке вирізняється унікальними характеристиками та підходом до розробки генеративних моделей.
Про це розповідає ProIT
Особливості моделей Llama 4
Llama 4 складається з трьох різних моделей з унікальними параметрами:
- Scout: 17 мільярдів активних параметрів з контекстним вікном у 10 мільйонів токенів.
- Maverick: 17 мільярдів активних параметрів з контекстним вікном у 1 мільйон токенів.
- Behemoth: Модель, яка перебуває в розробці з 288 мільярдами активних параметрів.
Усі моделі навчені на величезних обсягах неструктурованих текстових, відео та зображальних даних, охоплюючи 200 мов. Вони використовують архітектуру “mixture-of-experts