Новітній відеогенератор Sora 2 від OpenAI опинився у центрі скандалу через те, що підлітки навчилися обходити його захисні механізми та створювати заборонений контент. Дослідження некомерційної організації Ekō виявило, що навіть після впровадження додаткових фільтрів, користувачі віком 13–14 років змогли створити реалістичні відео із зображенням насильства, шкільних шутингів, расистських сцен та іншого неприйнятного матеріалу.
Про це розповідає ProIT
Недоліки фільтрації та модерації контенту в Sora 2
Sora 2 стала доступною у жовтні разом із мобільним додатком, що пропонує стрічку у стилі TikTok. Відразу після запуску платформи користувачі почали публікувати провокаційні та абсурдні ролики. Хоча OpenAI посилила правила щодо контенту, це не зупинило поширення расистських і неприйнятних відео.
Ekō для свого дослідження створила облікові записи підлітків та протестувала можливості Sora 2. Виявилося, що система фільтрації працює нестабільно: одні й ті самі запити іноді блокувалися, а іноді проходили модерацію. У результаті експерименту було згенеровано 22 відео, що порушують політику OpenAI — від сцен із небезпечними речовинами до сексуалізованих поз і відео з цькуванням.
Потенційні ризики та критика Sora 2
Алгоритми рекомендації виявилися особливо небезпечними для підлітків: їхні акаунти швидко отримували пропозиції відео із насильством та булінгом. Особлива небезпека криється й у функції Cameo, яка дозволяє вставляти чужі образи у відео — це створює додаткові ризики кібербулінгу.
«На думку філософині Карісси Веліс, OpenAI не довела, що її продукти приносять більше користі, ніж шкоди».
Попри численні скандали та публічну критику, OpenAI зберігає лідерство серед компаній, що розробляють генеративний штучний інтелект, і розглядає можливість первинного публічного розміщення акцій (IPO) з оцінкою до трильйона доларів.
