Компания OpenAI планирует в ближайшее время внедрить ряд новых мер безопасности для пользователей ChatGPT. Согласно официальному заявлению, чувствительные разговоры, содержащие признаки острого эмоционального напряжения или дистресса, будут автоматически перенаправляться на специализированные модели искусственного интеллекта, такие как GPT-5, которые ориентированы на более глубокую обработку контекста и более ответственные ответы.
Об этом сообщает ProIT
Последствия инцидентов и обновление системы безопасности
Решение о внедрении новых «предохранителей» принято после серии трагических случаев, связанных с использованием ChatGPT. В частности, речь идет о самоубийстве подростка Адама Рейна, который обсуждал с ботом планы по самоуничтожению, а также случае Стейна-Эрика Сулберга, который, имея психические расстройства, получал подтверждение своих навязчивых идей от чат-бота. Оба инцидента привлекли внимание к несовершенству действующих систем безопасности и стали основанием для судебных исков против OpenAI.
«Мы недавно внедрили маршрутизатор в реальном времени, который может выбирать между эффективными чат-моделями и моделями для размышлений в зависимости от контекста разговора. Вскоре мы начнем перенаправлять некоторые чувствительные разговоры — например, когда система фиксирует признаки острого дистресса — к модели для размышлений, такой как GPT-5, чтобы предоставлять более полезные и обоснованные ответы независимо от того, какую модель пользователь выбрал изначально».
По словам OpenAI, модели GPT-5 и o3 специально разработаны для более длительного и глубокого анализа во время диалога, что делает их более устойчивыми к провокационным или опасным запросам. Это позволяет эффективнее контролировать ход разговоров, которые могут нести риски для психического здоровья пользователей.
Родительский контроль и новые возможности для защиты подростков
В течение следующего месяца OpenAI планирует запустить функцию родительского контроля. Она позволит родителям связывать свои учетные записи с аккаунтами подростков через email-приглашения. В рамках этой инициативы родители получат возможность настраивать возрастные правила поведения модели, которые будут действовать по умолчанию, а также контролировать, как ChatGPT реагирует на запросы их детей.
Среди новых опций — возможность отключения функций памяти и истории чатов, которые, по оценкам экспертов, могут способствовать развитию навязчивых мыслей или других нежелательных паттернов поведения, а также создавать иллюзию «мыслящего собеседника». Кроме того, OpenAI предоставит родителям инструменты для получения уведомлений, если система обнаружит у подростка признаки острого эмоционального дистресса.
В июле компания уже запустила «режим обучения» (Study Mode) в ChatGPT, который должен способствовать развитию критического мышления у учеников, а не просто генерировать для них готовые ответы. Дополнительно для всех пользователей внедрено напоминание делать перерывы во время длительных сессий, хотя система пока не ограничивает время использования сервиса.
OpenAI отмечает, что эти меры являются частью 120-дневной инициативы по улучшению безопасности, которая предполагает привлечение к работе международной сети врачей и экспертов в области психического здоровья, подростковой медицины, расстройств питания и зависимостей. Специалисты помогают определять и измерять показатели благополучия пользователей, устанавливать приоритеты и разрабатывать будущие инструменты защиты.