X-Robots-Tag

X-Robots-Tag - HTTP-заголовок, используемый для передачи инструкций поисковым роботам о том, как следует индексировать содержимое страницы или файла. В отличие от мета-тега robots, который размещается в HTML-коде страницы, X-Robots-Tag передаётся в HTTP-заголовках ответа сервера.

В интернет-маркетинге и SEO X-Robots-Tag используется для управления индексацией не-HTML файлов (PDF, изображения, видео), а также для применения общих правил ко всем страницам сайта или к целым разделам.

Как работает X-Robots-Tag

При запросе страницы или файла сервер отправляет HTTP-заголовки, среди которых может быть X-Robots-Tag. Поисковый робот читает этот заголовок и выполняет указанные директивы.

Синтаксис

X-Robots-Tag может принимать те же значения, что и мета-тег robots.

Основные директивы

• index / noindex - разрешить или запретить индексацию
• follow / nofollow - разрешить или запретить переход по ссылкам
• all - разрешить всё (эквивалентно index, follow)
• none - запретить всё (эквивалентно noindex, nofollow)
• noarchive - запретить сохранение кэшированной копии
• nosnippet - запретить показ сниппета в выдаче
• notranslate - запретить перевод страницы
• noimageindex - запретить индексацию изображений

Указание для разных поисковых систем

Можно задавать разные директивы для разных поисковых систем:

• X-Robots-Tag: googlebot: noindex
• X-Robots-Tag: yandex: none
• X-Robots-Tag: bingbot: noindex, follow

Несколько директив

Несколько директив можно указывать через запятую в одном заголовке или в нескольких отдельных заголовках.

Когда использовать X-Robots-Tag

X-Robots-Tag особенно полезен в ситуациях, где невозможно использовать мета-тег robots.

Для не-HTML файлов

Мета-тег robots работает только в HTML-страницах. Для PDF-файлов, изображений, видео, документов Word и Excel необходимо использовать X-Robots-Tag.

Для целых разделов сайта

X-Robots-Tag можно настроить для целых разделов сайта через конфигурацию сервера.

Динамическое управление

X-Robots-Tag можно устанавливать программно в зависимости от условий. Например, для страниц с фильтрами, которые не должны индексироваться.

Переопределение общих правил

X-Robots-Tag может переопределять настройки, заданные в Robots.txt.

Настройка X-Robots-Tag

Способ настройки зависит от сервера и используемых технологий.

В Apache (.htaccess)

# Для всех файлов
Header set X-Robots-Tag "noindex, follow"

# Для конкретных типов файлов
<FilesMatch "\.(pdf|doc|docx|xls|xlsx)$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

# Для конкретного раздела
<LocationMatch "^/admin/">
    Header set X-Robots-Tag "noindex, nofollow"
</LocationMatch>

В Nginx

# Для всех файлов
add_header X-Robots-Tag "noindex, follow" always;

# Для конкретных типов файлов
location ~* \.(pdf|doc|docx|xls|xlsx)$ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

# Для конкретного раздела
location /admin/ {
    add_header X-Robots-Tag "noindex, nofollow" always;
}

В PHP

header("X-Robots-Tag: noindex, follow");

X-Robots-Tag vs Robots.txt vs Мета-тег noindex

Разные инструменты управления индексацией имеют свои особенности.

	X-Robots-Tag	Мета-тег noindex	robots.txt (Disallow)
Где применяется	HTTP-заголовок	HTML-код страницы	Отдельный файл
Для каких файлов	Любых	Только HTML	Любых
Робот видит файл	Да	Да	Нет
Управление индексацией	Да	Да	Нет (только обход)
Гибкость настройки	Высокая (по типу файлов, разделам)	Постраничная	По разделам

Проверка X-Robots-Tag

Проверить наличие и правильность X-Robots-Tag можно несколькими способами.

Инструменты разработчика браузера

Вкладка Network → просмотр заголовков ответа.

Онлайн-инструменты

Сервисы проверки HTTP-заголовков (например, httpstatus.io, redirectcheck.com).

Командная строка

curl -I https://marketwiki.ru/file.pdf

Яндекс.Вебмастер и Google Search Console

В панелях вебмастеров есть отчёты о проблемах с индексацией, которые могут указывать на неправильное использование X-Robots-Tag.

Типичные ошибки

• Использование X-Robots-Tag для HTML-страниц, где можно использовать мета-тег (не ошибка, но менее стандартно)
• Случайное закрытие от индексации важных страниц или файлов
• Неправильный синтаксис (опечатки в директивах)
• Противоречивые директивы в разных заголовках
• Забытые X-Robots-Tag после завершения тестирования
• Игнорирование регистра в названиях директив

Связанные термины

• Robots.txt
• Мета-тег noindex
• Индексация
• SEO
• HTTP-заголовки
• Поисковый робот