Google представила комплексный подход к обеспечению безопасности агентных функций в браузере Chrome, которые позволяют выполнять действия от имени пользователя — например, бронировать билеты или совершать онлайн-покупки. Новые возможности, которые планируются к запуску в ближайшие месяцы, сопровождаются дополнительными рисками для пользователей, среди которых потеря данных или денег.
Об этом сообщает ProIT
Инновационные модели для контроля агентных действий
Для повышения безопасности Google внедрила несколько специализированных моделей. Одной из них является User Alignment Critic, созданная на основе Gemini, которая анализирует запланированные агентом действия на соответствие целям пользователя. Если критик считает, что действия не соответствуют интересам пользователя, система предлагает изменить стратегию. В то же время критическая модель имеет доступ только к метаданным, а не к содержимому веб-страниц.
Чтобы предотвратить доступ агентов к ненадежным или запрещенным сайтам, Google использует механизм Agent Origin Sets. Благодаря ему модель получает доступ только к определенным источникам: одни из них позволяют только чтение информации, другие — чтение и запись. Например, во время онлайн-шопинга агент может взаимодействовать только с товарами, а не с баннерной рекламой или сторонними элементами. Дополнительно Chrome ограничивает клики или ввод данных только на определенных частях страницы.
«Это разграничение обеспечивает, что только данные из ограниченного набора источников доступны агенту, и эти данные могут быть переданы только на записываемые источники. Это ограничивает вектор угрозы утечек данных между источниками. Это также дает браузеру возможность обеспечивать часть этого разделения, например, не отправляя модели данные, которые находятся вне читаемого набора», — говорится в блоге компании.
Контроль действий и участие пользователя в принятии решений
Для дополнительной защиты Google внедрила еще один надзорный механизм, который контролирует перемещение по страницам, проверяя URL-адреса. Это позволяет предотвратить переход на потенциально вредоносные или сгенерированные агентом опасные сайты.
Особое внимание уделено действиям с чувствительной информацией. Если агент пытается зайти на сайт с банковскими или медицинскими данными, он сначала обращается к пользователю за разрешением. Так же Chrome запрашивает разрешение на использование менеджера паролей для входа на сайты, при этом модель агента не имеет доступа к паролям. Дополнительно пользователя информируют и просят разрешения перед совершением покупок или отправкой сообщений.
Для защиты от нежелательных действий Google использует специальный классификатор prompt-injection, а также тестирует агентные функции на устойчивость к атакам, созданным исследователями.
Следует отметить, что вопросами безопасности занимаются и разработчики других браузеров с AI-возможностями. В частности, компания Perplexity в декабре представила открытую модель для выявления контента, которая помогает предотвращать атаки prompt-injection против агентов.