В этой статье · 3 разделов
30 октября 2026 года OpenAI объявила, что будет учитывать общий сигнал в robots.txt. Владелец сайта один раз указывает, можно ли обучать модели на его материалах, и эта настройка действует для всех компаний, которые присоединились к схеме. Участие добровольное. Поддержку OpenAI обещает внедрить «в ближайшие месяцы», технические подробности опубликует позже.
Что меняется для владельца сайта
Раньше нужно было выяснять, как называется краулер каждой компании, и писать под каждого отдельное правило. Новый сигнал избавляет от необходимости вести этот список. В основе лежат наработки группы IETF AI Preferences. OpenAI призывает других ИИ-разработчиков тоже его поддержать.
В отраслевых пересказах анонса называют токен из черновика IETF: __usage_ai-training. Его пишут в строку User-Agent, как имя обычного бота:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Смысл записи: на сайте нельзя учить модели ни на чём, кроме раздела /press-kit/. Есть нюанс. Правило User-Agent: * на этот токен не распространяется, ему нужна своя группа. Сам черновик пока индивидуальный и стандартом IETF не стал, а OpenAI в анонсе синтаксис не расписывает. Так что, на наш взгляд, строку можно добавить уже сейчас, но будьте готовы, что формат поменяется.
Обучение и поиск в ChatGPT настраиваются отдельно
Прежние настройки robots.txt у OpenAI продолжают работать. GPTBot собирает данные для обучения моделей, OAI-SearchBot отвечает за выдачу в поиске ChatGPT. Закрываете первого и оставляете второго: тексты не идут в обучение, а сайт по-прежнему может попадать в ответы с поиском. Для блогов, которым нужен трафик, честно говоря, это самый разумный вариант.
И помните, что robots.txt держится на доброй воле. Краулеры, которые в схеме не участвуют, вправе его игнорировать.
Что это значит для русскоязычных сайтов
Ограничений по стране нет: robots.txt одинаково работает для любого сайта, в том числе на .ru. Ни платить, ни регистрироваться в сервисах OpenAI не нужно, достаточно поправить файл в корне сайта. Чего в анонсе нет, так это ответа про тексты, которые уже попали в обучающие данные. Судя по всему, сигнал касается только будущего сбора.
Если хотите закрыть сайт от обучения, но остаться в выдаче ChatGPT, заведите в robots.txt две отдельные группы: одну с Disallow для GPTBot или нового токена, другую с разрешением для OAI-SearchBot.