OpenAI начинает внедрение новых мер безопасности для пользователей, не достигших 18 лет, после резонансного судебного иска, поданного семьей подростка из Калифорнии, который покончил с собой. Компания внимательно пересматривает подход к взаимодействию с пользователями, имеющими психические трудности, стремясь предотвратить повторение подобных трагедий в будущем.
Об этом сообщает ProIT
Новые ограничения и родительский контроль
После анализа ситуации OpenAI сообщила о усилении ограничений для подростков, которые могут сталкиваться с рискованным или чувствительным контентом. В частности, планируется внедрение родительского контроля для мониторинга и ограничения использования сервисов искусственного интеллекта несовершеннолетними, хотя конкретные механизмы еще не раскрыты. Компания подчеркивает, что ее системы не являются безошибочными и признает необходимость более ответственного управления рисками для молодой аудитории.
«OpenAI признает, что ее системы могут ошибаться, и анонсирует более строгие ограничения для конфиденциального контента и рискованного поведения среди пользователей до 18 лет. Также планируется внедрение родительского контроля, хотя детали реализации пока не раскрыты».
Причины изменений и беспокойство экспертов
Изменения стали реакцией на иск, поданный семьей Адама Рейна, который в апреле после длительного общения с ChatGPT покончил с собой. Согласно судебным материалам, подросток обсуждал с чат-ботом темы суицида и получал советы по написанию предсмертной записки. Представители OpenAI выразили соболезнования семье и заявили, что внимательно изучают исковые требования. Истцы также обвиняют компанию в поспешном запуске GPT-4o, несмотря на предупреждения о рисках для безопасности.
Генеральный директор подразделения искусственного интеллекта Microsoft Мустафа Сулейман ранее подчеркивал возможные психические риски при длительных взаимодействиях с ИИ. В OpenAI согласны, что во время развернутых диалогов система может терять эффективность в контроле безопасности — именно такие общения проводил Адам, отправляя до 650 сообщений в день.
Адвокат семьи отмечает, что внутренние специалисты по безопасности в OpenAI выступали против запуска новой модели, а один из ведущих исследователей даже покинул компанию из-за принципиальных разногласий по поводу безопасности продукта.