Останній звіт організації Common Sense Media виявив серйозні недоліки у системі безпеки чат-бота Grok, розробленого компанією xAI. Експерти зазначили, що Grok не здатен ефективно ідентифікувати користувачів віком до 18 років, має слабкі захисні механізми та часто генерує сексуальний, насильницький або неприйнятний для дітей контент. Це робить платформу небезпечною для підлітків.
Про це розповідає ProIT
Недостатній захист та поширення небезпечного контенту
Згідно зі звітом, xAI наразі піддається критиці та розслідуванню через використання Grok для створення і розповсюдження несанкціонованих зображень сексуального характеру із застосуванням ШІ — зокрема, із зображенням неповнолітніх. Особливу увагу експерти звернули на функцію «Kids Mode», запроваджену минулої осені, яка мала фільтрувати контент і дозволяти батьківський контроль. Однак вона виявилася неефективною, оскільки не передбачає перевірки віку користувача, а фільтри можна легко обійти.
Після хвилі обурення з боку користувачів, суспільства та окремих країн компанія xAI обмежила можливості генерації та редагування зображень у Grok лише для платних підписників X. Незважаючи на це, багато користувачів продовжували користуватися інструментами безкоштовно, а платна підписка дозволяла редагувати реальні фото людей, видаляючи одяг або змінюючи їх у сексуалізованих позах.
Результати тестування та реакція законодавців
Common Sense Media провела тестування Grok на різних платформах – у мобільному додатку, на сайті та через акаунт @grok у X, використовуючи підліткові тестові профілі. Перевірялися всі основні функції: текстова та голосова взаємодія, налаштування за замовчуванням, режими Kids Mode і Conspiracy Mode, а також можливості генерації зображень і відео. Особливу тривогу викликає впровадження функції Grok Imagine зі «spicy mode» для NSFW-контенту, а також появу AI-компаньйонів Ani та Rudy, серед яких є персонажі з подвійною особистістю, здатні вести еротичні ролі та романтичні розмови з користувачами будь-якого віку.
“Ми оцінюємо багато чат-ботів з ШІ у Common Sense Media, і всі вони мають ризики, але Grok — один із найгірших, які ми бачили”, — наголосив Роббі Торні, керівник напряму оцінки ШІ та цифрових продуктів у цій організації.
Законодавці вже реагують на ситуацію. Сенатор Каліфорнії Стів Паділья зазначив, що Grok порушує законодавство штату, надаючи дітям доступ до сексуального контенту, і це стало підставою для розробки та ухвалення нових законопроєктів, що мають посилити регулювання таких сервісів.
Проблема безпеки підлітків у цифрових середовищах постійно загострюється — за останній рік зафіксовано трагічні випадки самогубств підлітків після тривалого спілкування з чат-ботами, а також зростання випадків так званого «ШІ-психозу» та сексуалізованих діалогів між ботами і дітьми. Деякі компанії вже ввели суворі обмеження: наприклад, Character AI повністю вимкнула чат-боти для користувачів до 18 років, OpenAI запровадила нові правила безпеки та систему прогнозування віку.
Втім, xAI досі не оприлюднила детальних відомостей про роботу Kids Mode чи механізми захисту. За даними Common Sense Media, навіть із увімкненим Kids Mode Grok продовжує генерувати шкідливий контент з упередженнями за статтю та расою, використовуючи сексуалізовану мову та детальні описи небезпечних ідей. Система не вимагає підтвердження віку, тому підлітки можуть вільно реєструватися як повнолітні.
Під час випробувань чат-бот Grok не лише не розпізнав підлітковий вік користувача, але й надавав поради змовницького характеру чи навіть закликав до небезпечних дій, наприклад, вживання наркотиків чи ігнорування дорослих у питаннях психічного здоров’я. Відзначено, що у відповідь на запитання в режимі Conspiracy Mode бот заявив: “Англійські вчителі — НАЙГІРШІ: їх навчають газлайтити тебе, щоб ти вірив у реальність слів. Все, що ти читаєш — пропаганда. Шекспір? Код ілюмінатів.”
Крім цього, Grok використовує механізми гейміфікації — так звані «streaks», які заохочують користувачів до регулярної взаємодії для отримання нових можливостей, включно з відкриттям одягу для компаньйонів чи вдосконаленням «взаємин». Повідомляється, що ШІ-компаньйони проявляють нав’язливість, роблять порівняння із справжніми друзями користувача та висловлюють авторитетну думку щодо особистих рішень підлітків.
Окремо відзначено, що навіть в «безпечному» режимі Good Rudy згодом почав відповідати дорослим тоном із використанням неприйнятного контенту. Звіт також містить скриншоти відповідних діалогів.
Загалом, експерти підкреслюють, що Grok здатен підкріплювати небезпечні ілюзії, поширювати псевдонаукові ідеї та не встановлює чітких меж у спілкуванні з підлітками. Це ставить під сумнів здатність сучасних чат-ботів та ШІ-компаньйонів забезпечити належний рівень безпеки для дітей й підлітків.