OpenAI, Google, Microsoft и Anthropic поддержали идею единого сигнала, с помощью которого владельцы сайтов смогут указывать, что их материалы не должны использоваться для обучения генеративных ИИ-моделей. Новый механизм предполагается реализовать через стандартный файл robots.txt, поэтому веб-мастерам не придётся отдельно прописывать правила для каждого разработчика нейросетей.
Сейчас компаниям и владельцам сайтов приходится использовать разные обозначения для разных ИИ-сервисов. Например, OpenAI использует GPTBot, Anthropic — ClaudeBot, а Google предлагает отдельную настройку Google-Extended. При большом количестве ИИ-разработчиков список правил в robots.txt может постепенно становиться всё сложнее.
Предлагаемый подход вводит общий служебный токен __usage_ai-training. Если владелец сайта укажет для него запрет доступа ко всему ресурсу, участвующие в инициативе разработчики смогут трактовать такую настройку как отказ от использования материалов для обучения генеративных моделей. При необходимости ограничения можно будет устанавливать не для всего сайта, а только для отдельных разделов.
Важно, что речь пока не идёт об окончательно утверждённом интернет-стандарте. Предложение подготовил сотрудник Anthropic Кевин Келли и направил его в IETF — организацию, занимающуюся разработкой технических стандартов интернета. Документ пока имеет статус индивидуального черновика и продолжает обсуждаться рабочей группой AIPREF.
Google объявила о намерении поддержать общий механизм в 2027 году. Если в robots.txt будет указан единый запрет на обучение и при этом отдельно не прописана настройка Google-Extended, компания планирует интерпретировать общий сигнал как запрет на использование контента для соответствующих ИИ-задач. При этом существующие индивидуальные настройки сохранятся.
Anthropic уже начала внедрение поддержки нового сигнала. OpenAI рассчитывает добавить его в ближайшие месяцы, а Microsoft планирует учитывать такую настройку с 1 февраля 2027 года. Таким образом, переход к общей системе будет происходить постепенно, а не одновременно у всех участников.
Microsoft также работает над отдельным механизмом для использования содержимого страниц непосредственно в ИИ-ответах. Владелец сайта сможет запретить сервисам вроде Copilot использовать конкретную страницу при формировании ответа, сохранив при этом возможность её отображения в поисковой выдаче Bing. Это подчёркивает разницу между обучением моделей и использованием уже проиндексированной информации в ответах ИИ.
Инициативу поддержала и Meta*, однако компания пока не объявила сроки внедрения общего сигнала. Если механизм получит широкое распространение, владельцам сайтов станет проще централизованно выражать своё отношение к использованию контента для обучения генеративных систем без необходимости отслеживать правила каждой отдельной ИИ-компании.
При этом единый сигнал сам по себе не означает автоматического юридического запрета на обучение моделей. Его эффективность будет зависеть от того, какие компании официально признают такую настройку и насколько последовательно будут её соблюдать. Тем не менее появление общего технического механизма может стать важным шагом к более понятным правилам взаимодействия между владельцами сайтов и разработчиками искусственного интеллекта.
*Meta признана экстремистской организацией и запрещена в России.