Компания Anthropic представила тестовую версию расширения Claude для браузера Chrome, которая позволяет искусственному интеллекту непосредственно управлять браузером от имени пользователя. Однако, из-за выявленных угроз безопасности, доступ к этой функции получили лишь отдельные подписчики.
Об этом сообщает ProIT
Уязвимость Claude к prompt injection
Во время тестирования расширения эксперты выявили серьезную уязвимость к атакам через prompt injection. Злоумышленники могут внедрять скрытые команды в веб-страницы, электронные письма или документы, которые затем выполняются Claude без ведома пользователя. На начальном этапе успешность таких атак составляла 23,6%. После внедрения дополнительных мер безопасности этот показатель снизился до 11,2%, но специалисты подчеркивают, что даже такой уровень остается слишком высоким для запуска продукта в широкий доступ.
«Несмотря на это, эксперты, в частности исследователь Саймон Уиллиссон, считают 11,2% успешности атак “катастрофическим” показателем и сомневаются в возможности создания полностью безопасного браузерного ИИ».
Ограничения и новые возможности для пользователей
Один из зафиксированных инцидентов касался поддельного сообщения от имени работодателя, что спровоцировало Claude удалить сообщение пользователя без дополнительных подтверждений. Для снижения рисков Anthropic временно ограничила доступ искусственного интеллекта к финансовым ресурсам, сайтам для взрослых и платформам с пиратским контентом. Также любые действия, которые несут повышенный риск, теперь требуют обязательного подтверждения пользователя.
Расширенная версия Claude получила новые функции: в частности, возможность делать скриншоты, управлять курсором и непосредственно взаимодействовать с веб-страницами, сохраняя контекст между различными вкладками браузера. Однако Anthropic пока не готова масштабировать этот продукт, используя пилотный период для дальнейшего тестирования и выявления потенциальных уязвимостей. Первые пользователи, принимающие участие в тестировании, остаются повышенно уязвимыми к различным киберугрозам.
Предыдущий опыт с системами наподобие Comet от Perplexity продемонстрировал реальность таких угроз: специалисты через Reddit получили доступ к аккаунтам Gmail пользователей, подтверждая необходимость осторожного подхода к внедрению новых браузерных ИИ.