Ринок електроніки переживає період інтенсивних змін, які супроводжуються зростанням цін на комп’ютери, ігрові консолі, смарт-телевізори та інші сучасні гаджети. Однією з головних причин подорожчання є глобальний дефіцит чіпів, який посилюється через активний розвиток штучного інтелекту та зростання вартості оперативної пам’яті (RAM).
Про це розповідає ProIT
TurboQuant: новий підхід від Google
У відповідь на зростаючий попит на ефективні рішення для роботи з оперативною пам’яттю, Google анонсував інноваційний алгоритм стиснення під назвою TurboQuant. За словами генерального директора Cloudflare Метью Прінса, ця технологія має потенціал покращити процес навчання та функціонування великих мовних моделей штучного інтелекту. TurboQuant дозволяє зменшити обсяг даних у кеші ключ-значення (KV), що використовується для зберігання контексту взаємодії ШІ з користувачем.
«TurboQuant стискає інформацію в кеші, дозволяючи зберігати та обробляти більше даних без необхідності розширювати кеш, але додавання нових моделей і функцій ШІ все одно буде вимагати великої кількості оперативної пам’яті».
Як працює алгоритм TurboQuant
Механізм TurboQuant можна уявити як систему, що структурує й стискає великі обсяги даних, які ШІ накопичує під час взаємодії з користувачами. Наприклад, якщо ШІ зберігає «зображення» контексту діалогів у спеціальній папці, TurboQuant оптимізує їхнє зберігання, дозволяючи оперувати більшими обсягами інформації без додаткових витрат оперативної пам’яті. Це спрощує процес обробки даних та підвищує ефективність використання наявних ресурсів у дата-центрах.
Наразі алгоритм знаходиться на стадії досліджень і ще не впроваджений у комерційні дата-центри. За оцінками Google, TurboQuant допоможе оптимізувати споживання оперативної пам’яті, хоча відчутний вплив на масовий ринок у найближчій перспективі малоймовірний. Основною перепоною залишається невирішене питання постійного збільшення потреби у RAM, адже запуск нових моделей і розширення функціоналу продовжують підтримувати високий попит на цей ресурс.
Загалом, поява TurboQuant свідчить про наміри Google шукати шляхи для підвищення ефективності інфраструктури ШІ та часткового вирішення проблеми дефіциту оперативної пам’яті. Однак остаточно баланс між попитом і пропозицією на цьому ринку ще не досягнуто.
