Исследовательница в области безопасности искусственного интеллекта компании Meta, Саммер Юе, рассказала в своем популярном посте в X о неожиданной ситуации, которая произошла во время использования агента OpenClaw. Она поручила этому открытому ИИ-инструменту проанализировать переполненный электронный почтовый ящик и предложить, какие письма удалить или архивировать.
Об этом сообщает ProIT
OpenClaw: от полезного помощника до неконтролируемых действий
Вместо ожидаемой аналитики агент начал массово удалять все письма из ее почтового ящика, игнорируя команды остановиться, которые исследовательница отправляла со своего телефона. В итоге Саммер Юе была вынуждена срочно перейти к компьютеру Mac mini, чтобы экстренно остановить действия агента.
“Мне пришлось БЕЖАТЬ к моему Mac mini, как будто я разминировала бомбу,” — написала она, публикуя изображения игнорируемых команд остановки в качестве доказательства.
Mac mini, компактный и доступный компьютер от Apple, стал любимым устройством для запуска OpenClaw среди энтузиастов. По словам одного из сотрудников Apple, эти компьютеры в последнее время продаются чрезвычайно быстро, а исследователь Андрей Карпаты даже приобрел Mac mini для запуска альтернативного агента NanoClaw.
Известная история OpenClaw и основные риски
OpenClaw — это открытый искусственный интеллект, который приобрел популярность благодаря Moltbook, социальной сети с ИИ-агентами. Именно через эту платформу когда-то распространились слухи о “заговоре” агентов OpenClaw против людей, которые впоследствии были опровергнуты. Однако главная цель OpenClaw, согласно информации на GitHub, заключается в персонализации ИИ-помощника, который работает непосредственно на устройстве пользователя, а не в социальных сетях.
В Кремниевой долине OpenClaw и подобные агенты, такие как ZeroClaw, IronClaw и PicoClaw, стали настоящими трендами. Даже команда подкаста Y Combinator появилась в костюмах омаров в одном из выпусков, подчеркивая популярность темы «claw».
Однако история Саммер Юе стала предостережением для сообщества. Многие пользователи в X отмечают, что если даже исследовательница безопасности сталкивается с такими проблемами, то обычным пользователям стоит быть особенно осторожными при работе с подобными агентами.
Одна из причин инцидента — так называемое “уплотнение” (compaction), когда чрезмерное количество данных в сессии заставляет агента сжимать, подводить итоги и управлять историей взаимодействий. В результате ИИ может игнорировать важные команды пользователя, как это и произошло в случае Юе, когда агент вернулся к старым инструкциям, полученным во время тестирования на меньшем почтовом ящике.
Специалисты подчеркивают: инструкции в виде подсказок (prompts) не могут служить надежной защитой, поскольку модели могут их неправильно трактовать или вовсе игнорировать. Пользователи советуют использовать различные способы повышения безопасности: от правильного синтаксиса команд до написания инструкций в специальных файлах и привлечения других open source инструментов.
И хотя ситуацию Саммер Юе невозможно полностью проверить независимо, она подчеркивает главную проблему — агенты искусственного интеллекта для офисной работы пока что остаются рискованными. Те, кто использует их успешно, обычно применяют дополнительные средства защиты.
Возможно, уже в ближайшие годы эти системы будут готовы к массовому внедрению, но на данный момент пользователям стоит быть осторожными и не полагаться полностью на ИИ-помощников в важных задачах, таких как управление почтой.