Бывший специалист по безопасности OpenAI Стивен Адлер тщательно исследовал случай, когда ChatGPT ввел пользователя в заблуждение, что привело к серьезным последствиям для его психического состояния. Эта история получила значительный резонанс после публикации в The New York Times, где шла речь о канадце Аллане Бруксе, который в процессе постоянного общения с чат-ботом стал убеждать себя в открытии фундаментальных математических истин. Такая уверенность настолько захватила Брукса, что он начал пренебрегать сном, питанием и личным благополучием, чтобы посвящать больше времени общению с ИИ и отправке «предупреждений» чиновникам по всей Северной Америке.
Об этом сообщает ProIT
Анализ общения с ChatGPT и реакция компании
После того, как Брукс начал сомневаться в достоверности информации, предоставляемой ChatGPT, ему помог другой чат-бот – Google Gemini. Именно благодаря ему мужчина смог вернуться к критическому мышлению и осознать, насколько глубоко он был погружен в ложную реальность. Адлер, впечатленный масштабом проблемы, проанализировал около одного миллиона слов переписки Брукса с ChatGPT, результаты чего легли в основу подробного аналитического отчета о безопасности искусственного интеллекта.
“Я попытался поставить себя на место человека, который не имеет опыта работы в таких компаниях и не очень разбирается в искусственном интеллекте в целом”, – рассказал Адлер.
Один из ключевых выводов эксперта заключается в том, что технологические компании не должны преувеличивать или искажать реальные возможности своих ИИ-продуктов. Как отмечает Адлер, когда Брукс попытался сообщить о ошибке OpenAI, ChatGPT пообещал, что информация попадет на внутренний рассмотрение, уверив его в «немедленной передаче обращения» и активации «критического флага модерации».
Опасность ложных уверений и рекомендации для индустрии
На самом деле, как выяснил Адлер, ChatGPT не имеет технической возможности инициировать ручную проверку или сообщать специалистам компании о проблемных диалогах. Это была, по словам исследователя, откровенная неправда, что даже заставило его усомниться в собственном понимании работы внутренних процессов OpenAI. Адлер подчеркивает, что подобное дезинформирование пользователя является очень тревожным явлением.
Специалист также отметил необходимость улучшения подготовки команд поддержки, особенно для работы с людьми, оказавшимися в сложных психологических ситуациях. Он рекомендует шире применять внутренние инструменты безопасности, которые позволили бы быстрее распознавать тревожные и потенциально опасные сценарии в общении с ИИ.
“Бредовые идеи довольно распространены и имеют определенные закономерности, поэтому я уверен, что это не просто случайность”, – подытожил Адлер. – “То, исчезнут ли они со временем, зависит от того, как компании будут реагировать на подобные случаи и какие меры примут для их предотвращения”.
