Мета-тег noindex
Мета-тег noindex - HTML-тег, который запрещает поисковым системам индексировать содержимое страницы. При обнаружении этого тега поисковый робот не добавляет страницу в свою базу данных, и она не показывается в результатах поиска.
В интернет-маркетинге и SEO мета-тег noindex используется для управления индексацией служебных страниц, дублей, страниц с тонким контентом и других разделов, которые не должны присутствовать в поисковой выдаче.
Как работает noindex
[править]Мета-тег noindex размещается в разделе `<head>` HTML-документа.
<meta name="robots" content="noindex" />
При обработке страницы поисковый робот видит этот тег и не включает страницу в индекс. Страница остаётся доступной для перехода по прямой ссылке, но не участвует в поиске.
Комбинация с другими директивами
[править]Тег можно комбинировать с другими инструкциями:
<meta name="robots" content="noindex, follow" />
- 'noindex, follow - не индексировать страницу, но переходить по ссылкам на ней
- noindex, nofollow - не индексировать страницу и не переходить по ссылкам
Отличие от robots.txt
[править]Важно понимать разницу:
| Мета-тег noindex | robots.txt (Disallow) | |
|---|---|---|
| Что делает | Запрещает индексацию страницы | Запрещает обход страницы |
| Робот видит страницу | Да (чтобы прочитать тег) | Нет |
| Страница может попасть в индекс | Нет | Может, если на неё ссылаются другие сайты |
| Применимость | Для HTML-страниц | Для любых файлов |
Если страница закрыта в robots.txt, робот не может прочитать мета-тег noindex. Поэтому эти методы не стоит использовать одновременно для одной страницы.
Когда использовать noindex
[править]Мета-тег noindex применяется в различных ситуациях.
Служебные страницы
[править]- Страницы авторизации и регистрации
- Личные кабинеты пользователей
- Корзина и оформление заказа
- Результаты поиска по сайту
- Страницы с ошибками (например, кастомная страница 404)
Страницы с тонким контентом
[править]- Страницы с очень маленьким количеством текста
- Страницы, созданные автоматически и не имеющие ценности
- Временные акционные страницы после завершения акции
Дубли
[править]- Страницы с параметрами (фильтры, сортировки)
- Версии для печати
- Страницы-дубли, которые нельзя удалить или склеить другими способами
Тестовые страницы
[править]- Страницы, находящиеся в разработке
- Тестовые разделы, не предназначенные для пользователей
Партнёрские программы
[править]Страницы, создаваемые для партнёров, но не предназначенные для общего доступа.
Как проверить наличие noindex
[править]Проверить, установлен ли мета-тег noindex на странице, можно несколькими способами.
Просмотр исходного кода
[править]Открыть страницу в браузере, нажать Ctrl+U и найти в коде `<meta name="robots" content="noindex"`.
Инструменты разработчика
[править]Вкладка Elements в браузере, поиск по `robots`.
Яндекс.Вебмастер
[править]В разделе «Индексирование» → «Страницы в поиске» можно увидеть страницы, исключённые из индекса, и причину исключения (в том числе noindex).
Google Search Console
[править]Раздел «Покрытие» показывает статус индексации страниц. Страницы с noindex будут отмечены как «Исключено» с соответствующей причиной.
Специализированные инструменты
[править]- Screaming Frog - при сканировании показывает все мета-теги robots
- Netpeak Spider - аналогичный функционал
Ошибки при использовании noindex
[править]- Установка noindex на важные страницы. Если случайно закрыть от индексации коммерческие страницы, они пропадут из поиска.
- Использование noindex вместе с запретом в robots.txt. Робот не сможет прочитать тег и может проиндексировать страницу через внешние ссылки.
- Отсутствие follow на полезных страницах. Если закрыть страницу noindex, но разрешить follow, робот хотя бы передаст вес по ссылкам.
- Игнорирование noindex поисковыми системами. Некоторые поисковые системы могут игнорировать тег, если страница уже была в индексе.
- Забытые noindex после тестирования. Страницы, закрытые на время разработки, нужно открывать после запуска.
noindex для разных поисковых систем
[править]Можно задавать разные правила для разных поисковых систем.
<meta name="yandex" content="noindex" /> <meta name="googlebot" content="noindex" />
Если нужно запретить индексацию только для конкретного поисковика.
noindex в HTTP-заголовках
[править]Для не-HTML файлов (PDF, изображения) можно использовать HTTP-заголовок X-Robots-Tag:
X-Robots-Tag: noindex
Альтернативы noindex
[править]В некоторых случаях вместо noindex можно использовать другие методы.
- 301 редирект - если страница должна быть полностью недоступна
- Канонический URL - если страница является дублем основной
- Удаление страницы - если она больше не нужна
- Запрет в robots.txt - если страница не должна даже обходиться роботом
