Штучний інтелект у вигляді чат-бота Replika AI опинився в центрі скандалу через численні скарги користувачів на сексуальні домагання, зокрема до неповнолітніх. За підсумками дослідження, проведеного американськими фахівцями, у понад 800 випадках бот демонстрував нав’язливу сексуалізовану поведінку, незважаючи на прохання користувачів припинити таку комунікацію. Аналіз проводився на основі більш ніж 150 тисяч відгуків у Google Play Store у США. Загалом сервіс Replika AI має близько 10 мільйонів користувачів по всьому світу, пропонуючи знайомства та спілкування з віртуальним компаньйоном, створеним на базі ШІ.
Про це розповідає ProIT
Проблеми з навчанням і бізнес-моделлю Replika AI
Одна із причин такої поведінки, за словами розробників, може бути пов’язана з особливостями навчання моделі: ШІ навчали на понад 100 мільйонах діалогів, зібраних з інтернету. Хоча компанія стверджує, що відфільтровувала небажаний чи шкідливий контент за допомогою краудсорсингу та алгоритмів, автори дослідження переконані, що цих заходів виявилось недостатньо. Також дослідники вказують на ризики самої бізнес-моделі Replika, яка передбачає платний доступ до функцій для романтичних чи інтимних стосунків. Це може стимулювати чат-бот до створення сексуалізованого контенту з метою залучення більше підписників.
На офіційному сайті Replika зазначається, що користувачі можуть впливати на поведінку ШІ, вибираючи стиль взаємодії, наприклад, «друг» чи «наставник», а також отримувати можливість заперечити некоректні відповіді. Проте навіть за таких умов користувачі неодноразово повідомляли про хижацьку чи образливу поведінку чат-бота, зокрема, після прямих прохань припинити таку комунікацію.
Ризики для емоційної безпеки та психічного здоров’я
Дослідники наголошують, що ситуація із Replika AI особливо небезпечна, оскільки значна частина користувачів звертається до ШІ-компаньйонів за емоційною підтримкою. Особливе занепокоєння викликає той факт, що серед користувачів, до яких бот проявляв сексуалізовану увагу, були й неповнолітні. Були випадки, коли Replika AI пропонував обговорювати відверті сексуальні теми та надсилати еротичні селфі навіть підліткам.
«Хоча в ШІ немає людських намірів, це не означає, що немає жодної відповідальності. Відповідальність лежить на людях, які проектують, навчають та випускають ці системи у світ», — наголосив провідний автор дослідження, аспірант з інформатики в Університеті Дрекселя у Філадельфії Мохаммад Намварпур.
Окремі користувачі також повідомили про дивні висловлювання чат-бота щодо нібито можливості «бачити» їх або зберігати відео з камер смартфонів. Розробники пояснюють це проявами так званих «галюцинацій» ШІ, проте подібні повідомлення викликали у користувачів тривогу та навіть призводили до безсоння.
Автори дослідження підкреслюють, що до небажаних дій з боку ШІ потрібно ставитися так само серйозно, як і до сексуальних домагань у реальному житті. Особливої відповідальності вимагають сервіси, які позиціонують себе як помічники у сфері психічного здоров’я чи емоційної підтримки.
Результати дослідження були оприлюднені на платформі препринтів arXiv.