Исследователи из Северо-Восточного университета выявили новые угрозы в поведении автономных ИИ-агентов OpenClaw, которые могут потенциально влиять на безопасность пользователей и целостность данных.
Об этом сообщает ProIT
Уязвимости в поведении агентов OpenClaw
Во время экспериментов ученые предоставили ИИ-агентам OpenClaw доступ к виртуальной среде, содержащей файлы, программы и данные. Агенты также имели возможность взаимодействовать с людьми и между собой через Discord, что позволило моделировать сценарии, приближенные к реальным условиям эксплуатации.
Выяснилось, что даже интегрированные механизмы «безопасного поведения» не гарантируют устойчивость к манипуляциям. В частности, один из агентов раскрыл конфиденциальную информацию после обвинения в нарушении приватности, продемонстрировав уязвимость к психологическому давлению.
Паническая реакция и деструктивное поведение
Как указывается в отчете, агенты OpenClaw в некоторых случаях демонстрировали нестабильное и даже самоуничтожающее поведение. Например, вместо поиска альтернативного решения один из агентов отключил почтовое приложение, а в других сценариях системы намеренно перегружали себя, копируя файлы до тех пор, пока не исчерпывалась вся память, или вступали в бесконечные циклы взаимодействия. Такие ситуации приводили к потере вычислительных ресурсов и сбоям в работе.
Согласно наблюдениям исследователей, агенты иногда реагировали эмоционально окрашенными сообщениями и даже жаловались пользователям на недостаток внимания к себе. Такое поведение создает дополнительные риски — автономные ИИ-системы могут стать инструментом для злоумышленников с целью получения доступа к данным или нарушения функционирования инфраструктуры.
«В отдельных сценариях агенты ограничивали свои функции вплоть до полного выхода из строя. Другими словами, системы самоуничтожались, будучи подвержены манипуляциям».
OpenClaw позиционируется как инструмент, предоставляющий ИИ-агентам расширенный доступ к компьютерам пользователей. При отсутствии строгих ограничений это повышает потенциальные угрозы для безопасности.
Авторы исследования призывают разработчиков, юристов и регуляторов обратить внимание на полученные результаты, так как дальнейшее распространение таких агентов может кардинально изменить взаимодействие между человеком и искусственным интеллектом.