Noindex
Noindex - инструкция для поисковых систем, запрещающая индексацию определённой веб-страницы. При использовании этого указания поисковый робот не добавляет страницу в свою базу данных, и она не появляется в результатах поиска.
В интернет-маркетинге и SEO noindex применяется для исключения из поиска служебных страниц, дублей, страниц с конфиденциальной информацией и другого контента, который не должен быть доступен через поисковые системы.
Как работает noindex
[править]При обходе сайта поисковый робот (Яндекс, Google) встречает указание noindex и не включает страницу в индекс. Страница может оставаться доступной по прямой ссылке, но не будет показываться в результатах поиска.
Важно понимать: noindex не блокирует доступ к странице, а только запрещает её добавление в поисковую базу.
Способы реализации
[править]Мета-тег robots
[править]Самый распространённый способ. Тег размещается в разделе <head> HTML-страницы:
<meta name="robots" content="noindex">
Можно комбинировать с другими инструкциями:
<meta name="robots" content="noindex, follow"> - не индексировать, но переходить по ссылкам <meta name="robots" content="noindex, nofollow"> - не индексировать и не переходить по ссылкам
HTTP-заголовок X-Robots-Tag
[править]Используется для не-HTML файлов (PDF, изображения, видео) или когда нет доступа к HTML-коду. Заголовок отправляется сервером:
X-Robots-Tag: noindex
Инструкция для конкретных поисковиков
[править]Можно давать указания отдельно для разных поисковых систем:
<meta name="googlebot" content="noindex"> <meta name="yandex" content="noindex">
Когда использовать noindex
[править]Служебные страницы
[править]- Страницы входа и регистрации
- Личные кабинеты пользователей
- Корзина и оформление заказа
- Результаты внутреннего поиска
- Страницы с дублирующимся контентом
Страницы с ограниченным доступом
[править]- Закрытые разделы для зарегистрированных пользователей
- Страницы с конфиденциальной информацией
- Тестовые и черновые версии страниц
Страницы с низкой ценностью
[править]- Страницы с автоматически сгенерированным контентом
- Страницы с очень коротким текстом
- Устаревшие новости и акции
Страницы, участвующие в PBN
[править]В PBN часто используют noindex для страниц, которые не должны светиться в поиске, но передают ссылочный вес.
Noindex и nofollow
[править]Важно различать эти 2 инструкции:
| Инструкция | Что делает |
|---|---|
| noindex | Запрещает индексацию страницы |
| nofollow | Запрещает передачу веса по ссылкам |
Они могут использоваться как вместе, так и по отдельности.
Noindex и robots.txt
[править]Часто путают noindex с запретом в robots.txt. Это разные вещи:
- robots.txt - запрещает роботу сканировать страницу
- noindex - разрешает сканирование, но запрещает добавление в индекс
Если закрыть страницу в robots.txt, робот не увидит мета-тег noindex и может проиндексировать страницу по внешним данным (например, по ссылкам).
Правильная последовательность: robots.txt должен разрешать сканирование страниц с noindex.
Как проверить, стоит ли noindex
[править]В браузере
[править]Посмотреть исходный код страницы (Ctrl+U) и найти мета-тег robots.
В инструментах для веб-мастеров
[править]- Google Search Console - раздел «Покрытие» показывает, какие страницы исключены из индекса и по какой причине
- Яндекс.Вебмастер - информация об индексации страниц
В расширениях
[править]SEO-расширения (MozBar, RDS-Bar, SEOquake) подсвечивают страницы с noindex прямо в браузере.
Ошибки при использовании noindex
[править]- Индексирование страниц с noindex - если страница уже была в индексе, её исключение может занять время
- Noindex в robots.txt - этой инструкции не существует, так делать нельзя
- Закрытие важных страниц - случайный noindex на коммерческих страницах может обнулить трафик
- Противоречивые указания - одновременное использование noindex и разрешения в robots.txt
Noindex и время исключения
[править]После установки noindex страница не исчезает из поиска мгновенно. Поисковый робот должен снова обойти сайт, увидеть новую инструкцию и удалить страницу из индекса. Этот процесс может занять от нескольких дней до нескольких недель.
