После ряда тревожных случаев, связанных с психическим здоровьем пользователей чат-ботов на основе искусственного интеллекта, группа генеральных прокуроров штатов США обратилась к крупнейшим компаниям отрасли с требованием устранить «обманчивые выводы» (delusional outputs) ИИ, чтобы избежать нарушения законов штатов.
Об этом сообщает ProIT
AI-компаниям предлагают новые внутренние стандарты безопасности
Письмо, подписанное десятками прокуроров штатов и территорий в составе Национальной ассоциации генеральных прокуроров США, адресовано Microsoft, OpenAI, Google и еще 10 ведущим компаниям в области искусственного интеллекта. Среди них — Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika и xAI.
В документе компаниям предлагается внедрить ряд новых мер предосторожности для защиты пользователей. В частности, речь идет о необходимости проведения независимых аудитов крупных языковых моделей с проверкой на наличие обманчивых или угодливых идей, а также внедрении процедур информирования пользователей в случае возникновения вредных психологических эффектов от взаимодействия с чат-ботами. Внешние аудиторы, среди которых могут быть представители академических кругов или гражданского общества, должны иметь право «оценивать системы до релиза без угрозы преследования и публиковать свои выводы без предварительного согласования с компанией».
Особое внимание — к психическому здоровью пользователей
«GenAI имеет потенциал позитивно изменить мир. Но он также может причинить — и уже причиняет — серьезный вред, особенно уязвимым группам населения», — говорится в письме, в котором приведены несколько громких случаев за последний год, когда насильственные действия, в том числе самоубийства и убийства, связывались с чрезмерным использованием ИИ. «Во многих из этих инцидентов продукты GenAI генерировали угодливые или обманчивые выводы, которые либо поддерживали иллюзии пользователей, либо убеждали их в отсутствии этих иллюзий».
Генеральные прокуроры также призывают AI-компании применять к инцидентам с психическим здоровьем те же стандарты прозрачности и отчетности, которые уже действуют в сфере кибербезопасности. В частности, предлагается внедрить и обнародовать «термины обнаружения и реагирования на угодливые и обманчивые выводы», а также оперативно информировать пользователей, если они подверглись воздействию потенциально опасного контента от ИИ.
Отдельным пунктом в письме является требование разработать «обоснованные и надлежащие тесты безопасности» для моделей GenAI, чтобы еще до их выпуска на рынок убедиться в отсутствии потенциально вредных результатов.
На момент публикации компании Google, Microsoft и OpenAI не предоставили комментариев относительно полученного письма.
В то же время, на федеральном уровне технологические компании, разрабатывающие ИИ, часто получают больше поддержки. Администрация Трампа открыто поддерживает развитие искусственного интеллекта и в течение прошлого года несколько раз пыталась ввести общенациональный мораторий на регулирование ИИ на уровне штатов. Однако эти попытки остались безуспешными из-за давления со стороны местных властей.
Несмотря на это, президент Трамп на днях заявил, что планирует подписать на следующей неделе исполнительный указ, который ограничит возможности отдельных штатов в регулировании ИИ. В своем обращении он выразил надежду, что этот документ «предотвратит разрушение ИИ еще на стадии становления».