Канадські дослідники з Інституту Вейцмана та Intel Labs розробили інноваційний алгоритм, який дозволяє різним моделям штучного інтелекту (ШІ) працювати спільно, що сприяє підвищенню продуктивності й суттєвому скороченню витрат на обчислювальні ресурси.
Про це розповідає ProIT
Як працює новий підхід до взаємодії моделей ШІ
Кожна велика мовна модель (LLM) має власну унікальну електронну «мову», що раніше унеможливлювало безпосередню взаємодію між різними моделями. Завдяки новим алгоритмам, запропонованим канадськими вченими, користувачі отримують можливість об’єднувати обчислювальні потужності кількох моделей, що дозволяє прискорити виконання завдань у 1,5 рази.
Зазвичай великі мовні моделі, такі як ChatGPT або Gemini, можуть виконувати складні завдання, але працюють повільно та потребують значних ресурсів. Ще у 2022 році стало очевидно, що співпраця між різними моделями може підвищити ефективність їх роботи. Для цього було створено метод «спекулятивного декодування», у якому невелика та швидка модель спочатку генерує відповідь, а потім більша й потужніша модель перевіряє її та коригує за необхідності. Завдяки цьому способу вдалося досягти 100% точності результатів, чого не забезпечували інші підходи до прискорення роботи моделей.
Втім, раніше такий метод можна було застосовувати лише до моделей, які використовують одну й ту саму «мову» токенів, що обмежувало можливості інтеграції інструментів різних компаній.
«Технологічні гіганти перейшли на спекулятивне декодування, отримуючи вигоду від більш високої продуктивності і заощаджуючи мільярди доларів на рік на вартості обчислювальної потужності, але тільки вони мали доступ до невеликих, більш швидких моделей, що говорять тією ж мовою, що і більші моделі. Стартапу, який прагне отримати вигоду зі спекулятивного декодування, довелося б навчити власну невелику модель, яка б відповідала мові великої моделі, а це вимагає великого досвіду і дорогих обчислювальних ресурсів», — пояснює керівник дослідження, аспірант дослідницької групи професора Девіда Харела на кафедрі комп’ютерних наук та прикладної математики Університету Вейцмана, Надав Тімор.
Універсальний інструмент для різних моделей ШІ
Запропоновані алгоритми дозволяють об’єднувати довільні невеликі ШІ-моделі з великими мовними моделями різних виробників. Одна з розробок дає змогу переводити дані з внутрішньої мови токенів LLM у стандартний формат, зрозумілий усім моделям. Інший алгоритм гарантує, що всі об’єднані моделі працюють із токенами, що мають однакове значення для кожної з них.
Розробники відзначають, що спершу мали сумніви щодо можливості зберегти всю інформацію при такому перекладі між моделями, проте результати перевершили очікування. За їхніми словами, нові алгоритми підвищують швидкість роботи LLM до 2,8 разів, що забезпечує значну економію обчислювальних ресурсів.
Протягом останніх місяців команда опублікувала свої розробки на платформі відкритого коду Hugging Face Transformers, завдяки чому алгоритми стали доступними розробникам усього світу. Відтоді ці рішення використовуються як стандартний інструмент для ефективної реалізації процесів штучного інтелекту. Результати наукової роботи оприлюднені на сервері препринтів arXiv.