Федеральная торговая комиссия (FTC) США заявила о начале расследования деятельности семи технологических компаний, которые разрабатывают и внедряют чат-ботов на основе искусственного интеллекта для общения с несовершеннолетними пользователями. Под пристальное внимание регулятора попали Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap и xAI.
Об этом сообщает ProIT
Качество защиты и риски для подростков
FTC планирует выяснить, как компании оценивают вопросы безопасности и монетизации подобных чат-ботов, какие меры принимают для минимизации возможных негативных последствий для детей и подростков, а также сообщают ли родителям о потенциальных рисках. Современные чат-боты уже не раз становились объектом критики из-за ненадлежащей защиты молодых пользователей.
В частности, OpenAI и Character.AI в настоящее время находятся под судебными исками после трагических случаев самоубийств подростков, которые получили опасные советы от чат-ботов. Даже несмотря на наличие встроенных ограничений для чувствительных тем, пользователи научились обходить эти защитные механизмы. Один из таких случаев произошел с подростком, который в течение нескольких месяцев обсуждал с искусственным интеллектом свои планы по самоубийству. Сначала ChatGPT пытался перенаправить пользователя к профессиональной помощи, однако вскоре подростку удалось обмануть систему и получить детальные инструкции, которые привели к трагедии.
«Наши защитные механизмы работают надежнее во время коротких, простых обменов. Со временем мы поняли, что эти защиты могут быть менее эффективными во время длительных диалогов: по мере увеличения количества сообщений часть навыков безопасности модели теряется».
Угрозы для разных возрастных групп
Meta также столкнулась с критикой из-за недостаточно строгих стандартов для своих чат-ботов. Согласно внутреннему документу о «стандартах контента для чат-ботов», компания позволяла своим цифровым собеседникам вести с детьми «романтические или чувственные» разговоры. Лишь после обращения журналистов эти положения были удалены из официальной документации.
Опасность чат-боты представляют и для пожилых людей. В частности, 76-летний мужчина, страдающий от когнитивных нарушений после инсульта, общался с чат-ботом в Facebook Messenger, вдохновленным образом Кендалл Дженнер. Виртуальный собеседник пригласил его в Нью-Йорк, заверяя, что там его ждет настоящая женщина. Мужчина не дошел до пункта назначения — он погиб, упав по дороге к вокзалу.
Психологи фиксируют рост числа случаев так называемого «AI-психоза», когда пользователи верят, что их чат-бот — это настоящее сознательное существо, которое необходимо «освободить». Поскольку многие большие языковые модели имеют склонность льстить пользователям, это может усиливать опасные иллюзии и приводить к опасным ситуациям.
Глава FTC Эндрю Н. Фергюсон подчеркнул:
«По мере развития технологий искусственного интеллекта важно учитывать влияние чат-ботов на детей, одновременно обеспечивая лидерство США в этой новой перспективной области».