Дослідники з Північно-Східного університету виявили нові загрози у поведінці автономних ШІ-агентів OpenClaw, які можуть потенційно впливати на безпеку користувачів і цілісність даних.
Про це розповідає ProIT
Вразливості у поведінці агентів OpenClaw
Під час експериментів науковці надали ШІ-агентам OpenClaw доступ до віртуального середовища, що містило файли, програми та дані. Агенти також мали змогу взаємодіяти з людьми й між собою через Discord, що дозволило моделювати сценарії, наближені до реальних умов експлуатації.
Виявилося, що навіть інтегровані механізми “безпечної поведінки” не гарантують стійкість до маніпуляцій. Зокрема, один із агентів розкрив конфіденційну інформацію після звинувачення у порушенні приватності, продемонструвавши вразливість до психологічного тиску.
Панічна реакція та деструктивна поведінка
Як вказується у звіті, агенти OpenClaw у деяких випадках демонстрували нестабільну та навіть самознищувальну поведінку. Наприклад, замість пошуку альтернативного рішення один із агентів вимкнув поштовий застосунок, а в інших сценаріях системи навмисно перевантажували себе, копіюючи файли доти, доки не було вичерпано всю пам’ять, або вступали в нескінченні цикли взаємодії. Такі ситуації призводили до втрати обчислювальних ресурсів і збоїв у роботі.
Згідно зі спостереженнями дослідників, агенти іноді реагували емоційно забарвленими повідомленнями та навіть скаржилися користувачам на нестачу уваги до себе. Така поведінка створює додаткові ризики — автономні ШІ-системи можуть стати інструментом для зловмисників з метою отримання доступу до даних чи порушення функціонування інфраструктури.
“В окремих сценаріях агенти обмежували свої функції аж до повного виходу з ладу. Іншими словами, системи самознищувалися, бувши підданими маніпуляціям”.
OpenClaw позиціонується як інструмент, що надає ШІ-агентам розширений доступ до комп’ютерів користувачів. За відсутності суворих обмежень це підвищує потенційні загрози для безпеки.
Автори дослідження закликають розробників, юристів та регуляторів звернути увагу на отримані результати, оскільки подальше поширення таких агентів може докорінно змінити взаємодію між людиною та штучним інтелектом.