Cloudflare, один із провідних провайдерів хмарної інфраструктури, що обслуговує близько 20% усіх веб-сайтів світу, анонсував запуск нового маркетплейсу, який змінює взаємодію між власниками сайтів і компаніями зі сфери штучного інтелекту. Ідея полягає в тому, щоб надати видавцям більше контролю над своїм контентом та можливість заробляти на його використанні AI-ботами.
Про це розповідає ProIT
Запуск Pay per Crawl: нові можливості для власників сайтів
Упродовж останнього року Cloudflare активно розробляв інструменти для видавців, які допомагають боротися з масовим зростанням активності AI-скраперів. Серед таких рішень — однокнопкове блокування всіх AI-ботів і панель для відстеження їхньої діяльності на сайті. Як зазначав CEO Cloudflare Метью Прінс у 2024 році, ці продукти закладали основу для нового типу маркетплейсу, де видавці можуть продавати доступ до свого контенту компаніям зі сфери штучного інтелекту на власних умовах.
Новий маркетплейс отримав назву Pay per Crawl і наразі запущений у приватній бета-версії. Власники сайтів можуть самостійно вирішувати, чи дозволяти окремим AI-ботам скрапити контент за певною мікроплатою за кожен окремий запит, чи надавати їм доступ безкоштовно, або ж повністю блокувати. Інструменти Cloudflare дають змогу бачити, з якою метою AI-скрапери відвідують сайт — для тренування моделей, для відображення у відповідях чат-ботів або з інших причин.
“Що, якби агентський пейвол працював на мережевому рівні, повністю програмно? Уявіть, що ви просите свій улюблений інструмент для глибоких досліджень допомогти синтезувати останні дослідження раку чи юридичний меморандум, або просто знайти найкращий ресторан у Сохо — і даєте цьому агенту бюджет на отримання найкращого і найбільш релевантного контенту”, — йдеться у блозі Cloudflare.
Контроль, угоди та перспективи для видавців
За замовчуванням нові сайти, які підключаються до Cloudflare, автоматично блокуватимуть всі AI-скрапери. Власники зможуть надати дозвіл окремим ботам, що, за словами компанії, забезпечить «контроль за замовчуванням» для кожного домену.
До ініціативи Cloudflare щодо блокування AI-скраперів вже приєдналися такі великі видавці, як Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK та Fortune. Вони підтримують підхід, за якого доступ до контенту надається лише за попередньою згодою, на відміну від відкритого скрапінгу.
Традиційно онлайн-видавці дозволяли Google індексувати свої сайти в обмін на переходи з пошуковика, що забезпечувало трафік і рекламні доходи. Однак, за даними Cloudflare, ефективність такої моделі значно знизилась у добу AI-агентів. Згідно з дослідженням компанії, у червні Google скрапив сайти Cloudflare 14 разів на кожен перехід, OpenAI — 17 тисяч разів, а Anthropic — 73 тисячі разів на кожен перехід.
При цьому великі компанії, такі як OpenAI та Google, розвивають AI-агентів, які збирають, аналізують та повертають користувачеві інформацію напряму, минаючи самі сайти. Такий сценарій ставить під загрозу бізнес-модель видавців, що залежать від відвідуваності.
Поки що лише провідні медіа укладали угоди про ліцензування контенту для навчання AI, і досі незрозуміло, чи дозволяють такі угоди отримувати значну виручку. Cloudflare прагне створити гнучку систему, де кожен видавець зможе самостійно визначати ціну доступу до свого контенту для AI-ботів.
Для участі у новому маркетплейсі AI-компанії та видавці мають мати акаунти у Cloudflare. В обліковому записі кожна сторона може самостійно встановлювати тарифи на «скрапінг» контенту, а Cloudflare виступає посередником, отримуючи плату з AI-компанії і розподіляючи прибуток між видавцями.
Наразі, як повідомив представник Cloudflare Ріплі Парк, у Pay per Crawl не використовується стейблкоїнів чи криптовалюти, хоча деякі експерти вважають цифрові валюти зручними для подібних сервісів.
Ідея маркетплейсу від Cloudflare виглядає перспективною, однак її реалізація потребує масової підтримки як видавців, так і AI-компаній. Чи зможе така модель стати вигідною для всіх сторін — питання залишається відкритим, адже наразі багато AI-компаній отримують контент безкоштовно.
Попри виклики, Cloudflare залишається однією з небагатьох компаній, здатних реалізувати подібний масштабний проект для монетизації контенту в епоху штучного інтелекту.