Компания Google сделала значительный шаг вперед в области искусственного интеллекта, представив новую архитектуру нейронных сетей, известную как Titans. Эта технология способна обрабатывать огромные объемы данных и имитировать долговременную память, подобную человеческой. По заявлениям разработчиков Titans в 500 раз превышает возможности ChatGPT, открывая новые горизонты для машинного обучения.
Об этом сообщает ProIT
Инновационная память Titans
Разработанная под руководством Али Бехруза, Пэйлина Чжуна и Вахаба Миррокни, архитектура Titans пытается преодолеть ограничение традиционных моделей. Главное новшество заключается в сочетании кратковременной и долговременной памяти в единой системе. Это позволяет Titans не только обрабатывать актуальную информацию, но и обращаться к множеству предварительных данных, как это делает человеческий мозг на основе воспоминаний.
Применение Titans в разных отраслях
Titans демонстрирует поразительную эффективность в различных задачах, таких как моделирование языка, геномика и анализ временных рядов. Одной из ключевых особенностей есть способность обрабатывать миллионы данных без потери точности. Архитектура адаптируется к хранению только важных данных, вдохновляясь механизмами человеческой памяти.
Google разработала три модификации Titans: MAC (Memory as Context), MAG (Memory as Gating) и MAL (Memory as a Layer), каждая из которых оптимизирована для конкретных видов задач. Эти модели превосходят традиционные и современные архитектуры ИИ, справляясь со сложными задачами с длинным контекстом и логическими операциями.
Для сравнения ChatGPT обрабатывает до 4 тысяч токенов за одну сессию, после чего теряет контекст. Titans, благодаря своей инновационной архитектуре, может обрабатывать до 2 миллионов токенов, что делает его в 500 раз более эффективным. Это открывает новые возможности работы с большими объемами информации, такими как целые книги или большие базы данных.