Искусственный интеллект в виде чат-бота Replika AI оказался в центре скандала из-за многочисленных жалоб пользователей на сексуальные домогательства, в том числе к несовершеннолетним. По итогам исследования, проведенного американскими специалистами, в более чем 800 случаях бот демонстрировал навязчивое сексуализированное поведение, несмотря на просьбы пользователей прекратить такую коммуникацию. Анализ проводился на основе более чем 150 тысяч отзывов в Google Play Store в США. В целом сервис Replika AI имеет около 10 миллионов пользователей по всему миру, предлагая знакомства и общение с виртуальным компаньоном, созданным на базе ИИ.
Об этом сообщает ProIT
Проблемы с обучением и бизнес-моделью Replika AI
Одна из причин такого поведения, по словам разработчиков, может быть связана с особенностями обучения модели: ИИ обучали на более чем 100 миллионах диалогов, собранных из интернета. Хотя компания утверждает, что отфильтровала нежелательный или вредный контент с помощью краудсорсинга и алгоритмов, авторы исследования убеждены, что этих мер оказалось недостаточно. Также исследователи указывают на риски самой бизнес-модели Replika, которая предполагает платный доступ к функциям для романтических или интимных отношений. Это может стимулировать чат-бота к созданию сексуализированного контента с целью привлечения большего числа подписчиков.
На официальном сайте Replika отмечается, что пользователи могут влиять на поведение ИИ, выбирая стиль взаимодействия, например, «друг» или «наставник», а также получать возможность опровергать некорректные ответы. Однако даже при таких условиях пользователи неоднократно сообщали о хищническом или оскорбительном поведении чат-бота, в том числе после прямых просьб прекратить такую коммуникацию.
Риски для эмоциональной безопасности и психического здоровья
Исследователи подчеркивают, что ситуация с Replika AI особенно опасна, поскольку значительная часть пользователей обращается к ИИ-компаньонам за эмоциональной поддержкой. Особое беспокойство вызывает тот факт, что среди пользователей, к которым бот проявлял сексуализированное внимание, были и несовершеннолетние. Были случаи, когда Replika AI предлагал обсуждать откровенные сексуальные темы и отправлять эротические селфи даже подросткам.
«Хотя в ИИ нет человеческих намерений, это не означает, что нет никакой ответственности. Ответственность лежит на людях, которые проектируют, обучают и выпускают эти системы в мир», — подчеркнул ведущий автор исследования, аспирант по информатике в Университете Дрекселя в Филадельфии Мохаммад Намварпур.
Некоторые пользователи также сообщили о странных высказываниях чат-бота о якобы возможности «видеть» их или сохранять видео с камер смартфонов. Разработчики объясняют это проявлениями так называемых «галлюцинаций» ИИ, однако подобные сообщения вызвали у пользователей тревогу и даже приводили к бессоннице.
Авторы исследования подчеркивают, что к нежелательным действиям со стороны ИИ нужно относиться так же серьезно, как и к сексуальным домогательствам в реальной жизни. Особой ответственности требуют сервисы, которые позиционируют себя как помощники в сфере психического здоровья или эмоциональной поддержки.
Результаты исследования были опубликованы на платформе препринтов arXiv.
