Новейший видеогенератор Sora 2 от OpenAI оказался в центре скандала из-за того, что подростки научились обходить его защитные механизмы и создавать запрещенный контент. Исследование некоммерческой организации Ekō выявило, что даже после внедрения дополнительных фильтров пользователи в возрасте 13–14 лет смогли создать реалистичные видео с изображением насилия, школьных стрельб, расистских сцен и другого неприемлемого материала.
Об этом сообщает ProIT
Недостатки фильтрации и модерации контента в Sora 2
Sora 2 стала доступна в октябре вместе с мобильным приложением, предлагающим ленту в стиле TikTok. Сразу после запуска платформы пользователи начали публиковать провокационные и абсурдные ролики. Хотя OpenAI усилила правила относительно контента, это не остановило распространение расистских и неприемлемых видео.
Ekō для своего исследования создала учетные записи подростков и протестировала возможности Sora 2. Выяснилось, что система фильтрации работает нестабильно: одни и те же запросы иногда блокировались, а иногда проходили модерацию. В результате эксперимента было сгенерировано 22 видео, нарушающих политику OpenAI — от сцен с опасными веществами до сексуализированных поз и видео с травлей.
Потенциальные риски и критика Sora 2
Алгоритмы рекомендаций оказались особенно опасными для подростков: их аккаунты быстро получали предложения видео с насилием и буллингом. Особую опасность представляет функция Cameo, которая позволяет вставлять чужие образы в видео — это создает дополнительные риски кибербуллинга.
«На мнение философа Кариссы Велис, OpenAI не доказала, что ее продукты приносят больше пользы, чем вреда».
Несмотря на многочисленные скандалы и публичную критику, OpenAI сохраняет лидерство среди компаний, разрабатывающих генеративный искусственный интеллект, и рассматривает возможность первичного публичного размещения акций (IPO) с оценкой до триллиона долларов.