У сервісі LMSYS Chatbot Arena оновився рейтинг великих мовних моделей штучного інтелекту. Він дозволяє оцінити, які моделі нині найкраще справляються зі своїми задачами.
LMSYS Chatbot Arena – це краудсорсингова відкрита платформа для оцінювання великих мовних моделей (LLM). Для складання рейтингу оцінюються понад 300 тис. людських відгуків про роботу моделей за системою рейтингу Ело.
Як працює тест — люди вводять запит та обирають кращу відповідь з кількох варіантів від різних моделей. На основі тисяч користувацьких тестів формується і ранжирується топ.
Як свідчить новий рейтинг чатбот-арени, лідером серед LLM наразі є GPT4. Нещодавні твердження Claude, що їхня модель краще не підтвердилися. Вона зайняла третє місце. Відразу за нею розташувалася модель Bard (Gemini Pro) від Google. Всі ці моделі отримали рейтинг Ело понад 1200.
Ознайомитися з докладними актуальними результатами ранжування наявних великих мовних моделей можна за наступною адресою.