Краулинговый бюджет для ИИ: как настроить robots.txt и оптимизировать обход сайта роботами LLM
В классическом SEO маркетологи привыкли оптимизировать краулинговый бюджет (лимиты на сканирование страниц сайта в единицу времени) под роботов Яндекса и Google. В 2026 году к ним добавились десятки новых сканеров - ИИ-боты от OpenAI, Perplexity, Anthropic, Apple и других технологических гигантов.
ИИ-парсеры работают гораздо агрессивнее стандартных поисковиков: они не просто индексируют текст, а пытаются выкачать контент для обучения моделей или формирования RAG-ответов. Если ваш b2b-сайт содержит тяжелые прайс-листы, калькуляторы или архивы, ИИ-боты могут перегрузить сервер и уйти, так и не добравшись до коммерческих страниц и кейсов.
Основные ИИ-роботы и их юзер-агенты
[править]Чтобы управлять обходом сайта, необходимо знать имена (User-agent) ключевых ИИ-сканеров. Их можно разделить на две группы:
- Роботы для обучения моделей (Могут использовать ваш контент для будущих версий ИИ):
- GPTBot - основной сканер компании OpenAI (ChatGPT).
- ClaudeBot - робот от компании Anthropic (модели Claude).
- Google-Extended - директива, управляющая доступом моделей Gemini к вашему сайту.
- Роботы для генеративного поиска в реальном времени (Именно они приводят лиды прямо сейчас):
- OAI-SearchBot - поисковый робот OpenAI для выдачи актуальных данных в ChatGPT Search.
- PerplexityBot - поисковый сканер Perplexity ИИ.
- Claude-Web - поисковый агент Anthropic.
Оптимальная настройка robots.txt для b2b-сайта в 2026 году
[править]Главная задача - закрыть от ИИ-парсерных систем технический мусор, но открыть им зеленый коридор к вашему главного контенту.
Ниже представлен проверенный шаблон конфигурации для вашего файла robots.txt. Все спецсимволы и комментарии адаптированы для корректного чтения сервером:
<syntaxhighlight lang="text">
- Глобальные правила для поискового ИИ от OpenAI (ChatGPT Search)
User-agent: OAI-SearchBot Allow: /blog/ Allow: /cases/ Allow: /services/ Disallow: /api/ Disallow: /search/ Disallow: /*?*
- Правила для Perplexity (Критично для b2b-лидогенерации)
User-agent: PerplexityBot Allow: / Disallow: /admin/ Disallow: /cart/ Disallow: /wp-includes/
- Запрещаем агрессивное сканирование роботам, которые только собирают данные
User-agent: CCBot Disallow: /
User-agent: GPTBot Disallow: /private-data/ </syntaxhighlight>
3 правила оптимизации сайта под краулинг ИИ-агентов
[править]1. Очистка DOM-дерева от мусорного кода
[править]ИИ-роботы считывают текстовый слой. Если код вашей страницы перегружен тяжелыми inline-стилями, неоптимизированными скриптами аналитики или скрытыми элементами интерфейса, робот тратит вычислительную мощность впустую. Чистый, валидный HTML-код ускоряет индексацию в разы.
2. Оптимизация скорости ответа сервера
[править]Если вы заметили в логах сервера, что ИИ-боты отправляют слишком много запросов в секунду и создают критическую нагрузку на хостинг, не спешите их блокировать. Поисковые ИИ-боты нового поколения часто игнорируют старую директиву Crawl-delay, если считают сайт важным. Лучшим решением будет оптимизация показателя TTFB (время ответа сервера), чтобы хостинг выдерживал параллельные сессии сканирования.
3. Перенос тяжелых данных в изолированные хабы
[править]Если на сайте есть b2b-каталог на 100 000 товаров или динамический калькулятор стоимости логистики, закройте их от ИИ-поисковиков через директиву запрета. Вместо этого дайте роботам текстовую выжимку: ключевые категории, условия работы и прайс-лист в виде фиксированной таблицы на отдельной странице, сославшись на нее в файле llms.txt.
Как проверить, не заблокирован ли ваш сайт по ошибке?
[править]Часто в попытках защитить сайт от парсинга контента системные администраторы жестко блокируют все неизвестные юзер-агенты на уровне Cloudflare или настроек Nginx. Из-за этого компания мгновенно исчезает из рекомендаций искусственного интеллекта.
Чтобы убедиться, что ИИ-роботы имеют корректный доступ к вашим b2b-услугам, правильно считывают контент и не натыкаются на технические блокировки, необходимо провести аудит цифрового присутствия.
Проверьте доступность и видимость вашего сайта для ИИ-сканеров
Перейдите на сайт ai-presence.ru и получите диагностику за 30 секунд:
Запустить проверку BrandHealth Check
Доступно 3 проверки в день с одного IP. Ваши данные не сохраняются.
