Искусственный интеллект ставит под угрозу будущее Интернет-архива

|
Искусственный интеллект ставит под угрозу будущее Интернет-архива

Развитие чат-ботов на основе искусственного интеллекта существенно изменило способ получения и использования информации. Сегодня достаточно обратиться к ИИ-боту, чтобы получить ответ на любой вопрос за секунды. Однако параллельно со упрощением повседневных процессов возникают и новые вызовы, в частности рост цен на некоторые товары из-за повышенного спроса на память и хранилища в дата-центрах, которые обслуживают эти технологии.

Об этом сообщает ProIT

Опасность для сохранения цифровой памяти

Одной из основных проблем является угроза для Интернет-архива — крупнейшей в мире цифровой библиотеки, которая с 1996 года обеспечивает открытый доступ к истории интернета. Интернет-архив позволяет находить предыдущие версии веб-страниц, а также восстанавливать материалы, которые были удалены из оригинальных источников. Для этого организация использует специальные сканеры, которые сохраняют копии сайтов в сервисе Wayback Machine.

Однако в 2026 году Интернет-архив столкнулся с серьезной проблемой: из-за более широкого использования искусственного интеллекта ряд веб-ресурсов начал блокировать его сканеры. Все больше сайтов считают, что Интернет-архив может стать каналом для получения контента компаниями, работающими в сфере ИИ, без официального разрешения владельцев авторских прав.

Крупные медиа ограничивают доступ к архивированию

Согласно данным расследования Nieman Lab, 241 новостной сайт из девяти стран, включая США, добавил сканеры Интернет-архива в список запрещенных в файле robots.txt. Среди них — такие авторитетные издания, как Financial Times, The New York Times, The Athletic и The Guardian. Эта тенденция вызывает беспокойство относительно сохранения открытого доступа к информации, так как ограничения могут усложнить выполнение миссии архива.

“Если издатели начнут ограничивать доступ библиотекам вроде Интернет-архива, общество потеряет часть доступа к историческим материалам”, – отметил основатель архива Брюстер Кале в комментарии для Nieman Lab.

Некоторые издания, например The Guardian, разрешили архивирование лишь отдельных разделов, тогда как The New York Times и The Athletic полностью запретили индексацию своих материалов. В августе 2025 года к этой практике присоединился и Reddit, что свидетельствует о распространении блокировок не только среди новостных, но и социальных платформ. Кроме того, подобные ограничения затронули и другой некоммерческий проект — Common Crawl: почти все те же сайты отказали в доступе и его сканерам.

Специалисты предупреждают, что если эта тенденция продолжится, пользователи могут потерять возможность просматривать удаленные записи на Reddit, посты в X, а также старые новостные статьи. Это не только усложнит исследование цифровой истории, но и поставит под угрозу свободу доступа к информации в глобальном масштабе.