Smartphone Googlebot
Smartphone Googlebot - это тип поискового робота (краулера) от Google, который имитирует пользователя, заходящего на сайт с мобильного устройства. Он является ключевым элементом мобильно-ориентированного индексирования (mobile-first indexing), так как именно его версия страницы Google использует для ранжирования в подавляющем большинстве случаев.
В интернет-маркетинге и SEO понимание работы Smartphone Googlebot критически важно, так как от того, что «видит» этот робот, зависят позиции сайта в поисковой выдаче Google. Если мобильная версия сайта недоступна, загружается медленно или содержит меньше контента, чем десктопная, это напрямую влияет на ранжирование.
Роль в мобильно-ориентированном индексировании
[править]С тех пор как мобильный трафик превысил десктопный, Google перешёл на мобильно-ориентированное индексирование. Это означает, что для ранжирования и индексации контента поисковая система в первую очередь использует мобильную версию страницы. Основным инструментом для этого и является Smartphone Googlebot. Робот для десктопов (Googlebot Desktop) используется реже и в основном для проверки десктопных версий.
Технические характеристики
[править]- User-Agent: В HTTP-запросах Smartphone Googlebot идентифицирует себя с помощью специальной строки user-agent. Для сайта это выглядит как запрос с мобильного устройства. Пример строки:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Версия Chrome (`W.X.Y.Z`) в этой строке меняется со временем.
- Ограничения: Как и другие роботы Google, Smartphone Googlebot обрабатывает первые 15 МБ HTML-файла (или поддерживаемого текстового файла) после распаковки. Ресурсы, на которые ссылается HTML (CSS, JavaScript), загружаются отдельно с тем же ограничением в 15 МБ.
- Геолокация: При сканировании сайтов с IP-адресов в США робот использует тихоокеанское время (Pacific Time).
Как Smartphone Googlebot взаимодействует с сайтом
[править]Робот находит новые URL для сканирования в основном по ссылкам на уже известных страницах. Практически невозможно сохранить сайт в секрете, не публикуя ссылки на него, так как если кто-то перейдёт по ссылке с вашего «секретного» сайта на другой ресурс, URL может оказаться в referer-заголовке и быть опубликованным.
Средняя частота обращений Googlebot к сайту - не чаще 1 раза в несколько секунд. Если сайт не справляется с нагрузкой, можно снизить скорость сканирования в Google Search Console.
Управление доступом для Googlebot
[править]Владелец сайта может управлять тем, как Smartphone Googlebot (и другие роботы Google) взаимодействуют с его ресурсом. Важно различать:
- Блокировка сканирования (crawling): осуществляется с помощью файла Robots.txt. Если запретить роботу сканировать страницу, он не сможет её прочитать, но URL всё равно может оказаться в поиске (например, по ссылкам с других сайтов). Сам контент проиндексирован не будет.
- Запрет индексации: осуществляется с помощью мета-тега
<meta name="robots" content="noindex">или HTTP-заголовкаX-Robots-Tag. Это запрещает показывать страницу в результатах поиска.
Блокировка Smartphone Googlebot через Robots.txt влияет на все продукты Google, включая Поиск, Google Изображения, Google Видео и Google Новости.
Верификация Googlebot
[править]Важно помнить, что user-agent Googlebot часто подделывают другие краулеры. Прежде чем принимать какие-либо решения на основе действий краулера, следует убедиться, что запрос действительно исходит от Google. Для этого используется обратный DNS-запрос (reverse DNS lookup) IP-адреса источника. Настоящий Googlebot имеет доменное имя вида crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo.googlebot.com, а его IP-адрес входит в официальные диапазоны Google.
