Мировые медиагиганты объявили войну цифровым архивам. Крупнейшие американские газеты начали массово блокировать веб-краулеры Internet Archive, закрывая «лазейку», которой активно пользуются технологические компании. Издатели уверены: сервис Wayback Machine превратился в инструмент для обхода платных подписок и бесплатную базу для обучения нейросетей на архивных снимках статей.
Масштаб зачистки и аргументы издателей
Охота на поисковых роботов уже затронула сотни ресурсов. Аналитики подсчитали, что доступ для бота ia_archiverbot закрыли более 240 сайтов, включая два десятка крупнейших новостных корпораций. Руководство одного из медиахолдингов, управляющего сотнями региональных изданий, называет это рутинной борьбой с подозрительной активностью. Влиятельная нью-йоркская газета пошла еще дальше, применив «жесткую блокировку» через технические файлы сайта. Представители издания прямо заявляют: архив предоставляет несанкционированный доступ к интеллектуальной собственности, фактически пособничая разработчикам искусственного интеллекта.
Тактика глухой обороны
Единого стандарта блокировки нет — каждое издание защищается по-своему. Популярная британская газета выбрала гибкий подход: она разрешает сканирование, но скрывает статьи из выдачи API и поискового интерфейса архива, оставляя доступными лишь главные страницы и тематические разделы. Ведущее деловое издание из Лондона действует радикальнее, отсекая любых ботов — от инструментов OpenAI до Internet Archive — на подступах к платному контенту. Позиция проста: в вечности должны сохраняться только те материалы, которые изначально предназначались для широкой публики и не были скрыты за «пейволлом».
Под угрозой — цифровая память
Руководство Wayback Machine настаивает, что у сервиса есть все механизмы для борьбы со злоупотреблениями и массовым выкачиванием данных. Директор архива подчеркивает: сторонние хранилища — это прежде всего инструмент подотчетности СМИ, ведь они сохраняют первоначальные версии текстов, которые невозможно отредактировать задним числом. Подобные конфликты уже случались: в прошлом году доступ закрыла популярная соцсеть, а ранее из-за смены политики исчезли огромные пласты данных с правительственных порталов. Сейчас более ста сотрудников медиа подписали письмо в поддержку проекта, пока руководство архива пытается договориться с издателями о восстановлении доступа.
