Компанія Google зробила значний крок вперед у галузі штучного інтелекту, презентувавши нову архітектуру нейронних мереж, відому як Titans. Ця технологія здатна обробляти величезні обсяги даних та імітувати довготривалу пам’ять, подібну до людської. За заявами розробників, Titans у 500 разів перевищує можливості ChatGPT, відкриваючи нові горизонти для машинного навчання.
Про це розповідає ProIT
Інноваційна пам’ять Titans
Розроблена під керівництвом Алі Бехруза, Пейліна Чжуна та Вахаба Міррокні, архітектура Titans намагається подолати обмеження традиційних моделей. Головна новація полягає в поєднанні короткочасної та довготривалої пам’яті в єдиній системі. Це дозволяє Titans не лише обробляти актуальну інформацію, але й звертатися до великої кількості попередніх даних, як це робить людський мозок на основі спогадів.
Застосування Titans у різних галузях
Titans демонструє вражаючу ефективність у різних завданнях, таких як мовне моделювання, геноміка та аналіз часових рядів. Однією з ключових особливостей є здатність обробляти мільйони даних без втрати точності. Архітектура адаптується до збереження лише важливих даних, надихаючись механізмами людської пам’яті.
Google розробила три модифікації Titans: MAC (Memory as Context), MAG (Memory as Gating) та MAL (Memory as a Layer), кожна з яких оптимізована для конкретних видів задач. Ці моделі перевершують традиційні та сучасні архітектури ШІ, справляючись зі складними завданнями з довгим контекстом та логічними операціями.
Для порівняння, ChatGPT обробляє до 4 тисяч токенів за одну сесію, після чого втрачає контекст. Titans, завдяки своїй інноваційній архітектурі, може обробляти до 2 мільйонів токенів, що робить його у 500 разів ефективнішим. Це відкриває нові можливості для роботи з великими обсягами інформації, такими як цілі книги або великі бази даних.
