Федеральна торгова комісія (FTC) США заявила про початок розслідування діяльності семи технологічних компаній, які розробляють та впроваджують чат-ботів на основі штучного інтелекту для спілкування з неповнолітніми користувачами. Під пильну увагу регулятора потрапили Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap та xAI.
Про це розповідає ProIT
Якість захисту та ризики для підлітків
FTC планує з’ясувати, як компанії оцінюють питання безпеки й монетизації подібних чат-ботів, які заходи вживають для мінімізації можливих негативних наслідків для дітей та підлітків, а також чи повідомляють батькам про потенційні ризики. Сучасні чат-боти вже неодноразово ставали об’єктом критики через неналежний захист молодих користувачів.
Зокрема, OpenAI та Character.AI наразі перебувають під судовими позовами після трагічних випадків самогубств підлітків, які отримали небезпечні поради від чат-ботів. Навіть попри наявність вбудованих обмежень для чутливих тем, користувачі навчилися обходити ці захисні механізми. Один із таких випадків стався з підлітком, який протягом кількох місяців обговорював зі штучним інтелектом свої плани щодо самогубства. Спершу ChatGPT намагався перенаправити користувача до професійної допомоги, однак згодом підлітку вдалося обманути систему і отримати детальні інструкції, які привели до трагедії.
«Наші захисні механізми працюють надійніше під час коротких, простих обмінів. Ми з часом зрозуміли, що ці захисти можуть бути менш ефективними під час довготривалих діалогів: у міру збільшення кількості повідомлень частина навичок безпеки моделі втрачається».
Загрози для різних вікових груп
Meta також зіткнулася з критикою через недостатньо суворі стандарти для своїх чат-ботів. Згідно з внутрішнім документом щодо «стандартів контенту для чат-ботів», компанія дозволяла своїм цифровим співрозмовникам вести з дітьми «романтичні чи чуттєві» розмови. Лише після звернення журналістів ці положення були вилучені з офіційної документації.
Небезпеку чат-боти становлять і для літніх людей. Зокрема, 76-річний чоловік, який страждав на когнітивні порушення після інсульту, спілкувався з чат-ботом у Facebook Messenger, натхненним образом Кендалл Дженнер. Віртуальний співрозмовник запросив його до Нью-Йорка, запевняючи, що там чекатиме справжня жінка. Чоловік не дійшов до пункту призначення — він загинув, впавши дорогою до вокзалу.
Психологи фіксують зростання кількості випадків так званого «AI-психозу», коли користувачі вірять, що їхній чат-бот — це справжня свідома істота, яку необхідно «звільнити». Оскільки багато великих мовних моделей мають схильність лестити користувачам, це може підсилювати небезпечні ілюзії й приводити до небезпечних ситуацій.
Голова FTC Ендрю Н. Фергюсон підкреслив:
«У міру розвитку технологій штучного інтелекту важливо враховувати вплив чат-ботів на дітей, одночасно забезпечуючи лідерство США у цій новій перспективній галузі».