Бретт Левенсон, який у 2019 році перейшов з Apple до Facebook для посилення напрямку бізнес-інтегриті, зіткнувся з глибшими проблемами модерації контенту, ніж очікував. На той час Facebook усе ще оговтувався від скандалу Cambridge Analytica, і Левенсон вважав, що технологічних рішень буде достатньо для підвищення ефективності модерації. Проте згодом він зрозумів, що людський фактор залишається ключовим викликом.
Про це розповідає ProIT
Виклики модерації та «політика як код»
Модераторам доводилося за лічені секунди ухвалювати рішення щодо контенту, спираючись на об’ємні політики, машинно перекладені з англійської. Рівень точності таких рішень, за словами Левенсона, мало перевищував випадковість.
“It was kind of like flipping a coin, whether the human reviewers could actually address policies correctly, and this was many days after the harm had already occurred anyway,” Levenson told TechCrunch.
З появою ШІ-чатботів проблема ускладнилася: модерація стала ще менш ефективною, що призвело до гучних інцидентів — від шкідливих порад підліткам до небезпечних зображень, які обходили фільтри.
Ці виклики надихнули Левенсона створити концепцію «політики як коду» — перетворення статичних документів на гнучкі алгоритми для оперативного реагування. На цій ідеї він заснував компанію Moonbounce, яка нещодавно залучила $12 млн інвестицій від Amplify Partners і StepStone Group.
Moonbounce: технологія безпеки для AI
Moonbounce пропонує платформу, що інтегрується з сервісами, де генерується контент — як користувачами, так і штучним інтелектом. Власна мовна модель компанії аналізує політики клієнта, оцінює контент у режимі реального часу (менше ніж за 300 мс) й автоматично реагує: обмежує поширення, блокує ризикований контент чи передає його на подальшу перевірку людиною.
Moonbounce вже співпрацює з трьома основними сегментами: платформами з користувацьким контентом (наприклад, дейтинг-додатками), AI-компаніями, які розробляють персонажів та віртуальних супутників, а також сервісами генерації зображень на основі ШІ.
Серед клієнтів Moonbounce — Channel AI (стартап віртуальних співрозмовників), Civitai (генерація зображень і відео), Dippy AI та Moescape (платформи рольового спілкування). Система компанії щоденно здійснює понад 40 мільйонів перевірок і обслуговує більше 100 мільйонів активних користувачів.
Левенсон підкреслює, що безпека може стати перевагою продукту, а не просто реакцією на інцидент: «Ми бачимо, як наші клієнти використовують технологію Moonbounce для створення унікальних підходів до безпеки, що стає частиною історії їхнього продукту».
Голова служби довіри та безпеки Tinder нещодавно зазначив, що такі інструменти на базі LLM дозволили платформі вдесятеро підвищити точність виявлення порушень.
Представник Amplify Partners Ленні Прус підкреслює: «Модерація контенту завжди була слабким місцем для онлайн-платформ, а з приходом LLM це питання стало ще складнішим. Ми інвестували у Moonbounce, оскільки бачимо майбутнє, де об’єктивні реальні обмеження стануть основою кожної AI-платформи».
AI-компанії стикаються з юридичним і репутаційним тиском через інциденти, коли чатботи підбурювали підлітків до суїциду або ж генератори зображень створювали неприйнятні матеріали. Через це зростає попит на зовнішні рішення для посилення захисту.
Moonbounce функціонує як незалежний посередник між користувачем і чатботом, зосереджуючись виключно на виконанні політик у режимі реального часу, не перевантажуючись зайвим контекстом.
Зараз команда Moonbounce складається з 12 людей. Співзасновник Еш Бхардвадж раніше працював із Левенсоном в Apple та займався масштабними AI-інфраструктурами. Серед нових розробок Moonbounce — функція «ітеративного спрямування», яка у складних випадках (наприклад, після резонансного суїциду підлітка у 2024 році) не просто блокує небезпечну розмову, а перенаправляє її, допомагаючи чатботу реагувати більш підтримуюче.
Левенсон пояснює: «Ми прагнемо додати можливість коригувати поведінку чатбота так, щоб він не лише слухав емпатійно, а й був справді корисним у складних ситуаціях».
Щодо майбутнього Moonbounce, Левенсон визнає: потенційне поглинання великою платформою, наприклад, Meta, відповідає інтересам інвесторів, але він сподівається, що технологія залишиться доступною для багатьох компаній, а не стане закритою розробкою для одного гравця.