Что такое…

Что такое robots.txt — и почему он не прячет страницу от Google

Иллюстрация: табличка у входа на тропинку — часть роботов разворачивается, один идёт мимо

Смотри, штука, которая ломает интуицию у всех: если закрыть страницу в robots.txt, она всё равно может оказаться в выдаче Google. Без описания, одной голой ссылкой — но окажется.

Потому что robots.txt — это не замок. Это табличка у входа. И пока ты не поймёшь разницу, ты будешь «прятать» страницы, которые прекрасно видны.

Что это за файл и где он лежит

robots.txt — обычный текстовый файл в корне сайта. Строго по адресу твойсайт.ру/robots.txt, и никак иначе: в подпапке робот его искать не станет.

Внутри — просьбы к поисковым роботам: «сюда заходи, сюда не заходи». Первым делом, придя на сайт, робот читает именно его. Это часть базовой гигиены SEO — вместе с мета-тегами и картой сайта.

Ключевое слово — просьбы. Файл открыт всему интернету (зайди на robots.txt любого крупного сайта — увидишь), и его исполнение целиком на совести робота. Google, Яндекс и другие крупные игроки правила соблюдают. Скрипт, который собирает твои цены, — нет.

Как его читают

Файл собирается из блоков. Внутри блока — на кого правило и что запрещено:

User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /api/public/

Sitemap: https://твойсайт.ру/sitemap.xml

Читается так:

  • User-agent: * — «правила ниже для всех роботов». Вместо звёздочки можно назвать конкретного.
  • Disallow: /admin/ — «не заходи в этот раздел».
  • Allow: — исключение внутри запрещённого раздела.
  • Sitemap: — где лежит карта сайта. Строка с полным адресом, не относительным.

Две ловушки, на которых спотыкаются:

  1. Disallow: / — это «не заходи вообще никуда». Одна лишняя косая черта — и сайт исчезает из поиска. Такое регулярно уезжает в продакшн с тестового сервера.
  2. Пустой Disallow: — наоборот, «можно всё». Не путай с Disallow: /.

Главная ошибка: закрыть ≠ спрятать

Вот та часть, ради которой стоило читать.

Disallow запрещает роботу зайти на страницу. Он не запрещает показать её в результатах поиска. Если на страницу ведут ссылки с других сайтов, Google может добавить в выдачу сам адрес — просто без текста и описания, потому что читать содержимое ему запретили.

И дальше начинается самое неприятное. Ты видишь свою страницу в поиске, идёшь и ставишь на неё мета-тег noindex — правильный способ убрать страницу из индекса. Ничего не меняется. Почему? Потому что робот не может зайти на страницу и прочитать этот тег: ты сам ему запретил.

Чтобы убрать страницу из поиска, её нужно открыть в robots.txt и поставить noindex. Закрытая страница остаётся в индексе навсегда.

Простое правило:

  • Не хочешь, чтобы робот тратил силы на раздел (служебные фильтры, бесконечные сортировки, поиск по сайту) — Disallow.
  • Не хочешь, чтобы страница была в выдаче — noindex, а путь оставь открытым.
  • Не хочешь, чтобы её вообще кто-то видел — пароль или вход по логину. Только это настоящая защита.

Кстати, о защите: не перечисляй в robots.txt секретные адреса. Файл публичный. Строка Disallow: /secret-admin-panel/ — это указатель со стрелкой для любого любопытного.

Рубильник для ИИ-краулеров

За последние пару лет у файла появилась вторая работа. Компании, которые обучают модели, ходят по сайтам своими роботами — и договорились уважать robots.txt. Так что теперь это самый простой способ сказать «мой текст в обучение не берите».

У каждого свой User-agent:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Пара важных нюансов. Google-Extended — отдельный переключатель: он не влияет на то, как сайт ранжируется в обычном Поиске, только на использование в моделях. А список ботов не финальный: новые появляются каждые несколько месяцев, так что раз в полгода стоит заглянуть в свой файл.

И решай осознанно. Закрыться — не всегда выгодно: если ты делаешь продукт, упоминание в ответах ассистентов сегодня приводит живых людей не хуже поисковой выдачи.

Минимальный файл, который стоит поставить

Для обычного маленького сайта хватит трёх строк:

User-agent: *
Disallow:

Sitemap: https://твойсайт.ру/sitemap.xml

Всё открыто, карта сайта указана. Дальше добавляй Disallow точечно — по мере того как появляются служебные разделы. Начинать с запретов — верный способ случайно выключить сайт из поиска и потом месяц гадать, почему его нет в Google.

Нужен ли robots.txt маленькому сайту?

Строго — нет: без файла робот считает, что можно всё. Но поставить стоит хотя бы ради строки Sitemap — так поисковик быстрее найдёт все твои страницы.

Как проверить, что файл работает?

Открой твойсайт.ру/robots.txt в браузере — ты должен увидеть текст, а не страницу с ошибкой 404. Дальше в Google Search Console и Яндекс.Вебмастере есть инструмент проверки: вставляешь адрес страницы и видишь, разрешён он или нет.

Закроет ли robots.txt сайт от парсеров?

Нет. Это просьба, а не блокировка. Робот, которому нет дела до правил, просто её проигнорирует — файл он даже не откроет. Против таких работают ограничение частоты запросов и защита на стороне сервера, а не текстовый файл.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →