Как настроить автоматическое обновление файла list.md для ИИ-ботов

Материал из Энциклопедия интернет-маркетинга MarketWiki

В эпоху генеративного поиска и GEO-оптимизации классических фидов (YML, XML) становится недостаточно. Роботы-агенты, такие как Perplexity Bot, GPTBot и ClaudeBot, предпочитают читать информацию в привычном для них формате Markdown.

Важное примечание

[править]

Не нудно путать локальный фид list.md с глобальным файлом llms.txt.

  • llms.txt - это общепринятый стандарт оглавления, который размещается в корне всего сайта.
  • list.md - это частный технический формат, используемый внутри конкретных разделов (например, в каталоге e-commerce) для динамической отдачи списков товаров роботам-агентам.

Зачем ИИ-ботам нужен динамический Markdown-файл

[править]

Когда ChatGPT или Perplexity заходят на ваш сайт по классическому XML-фиду, им приходится парсить сложную структуру тегов. Файл list.md решает эту проблему:

  • Идеальная читаемость - Markdown является родным форматом для обучения и работы всех современных LLM.
  • Экономия токенов - бот мгновенно считывает суть (название, цена, ссылка, статус) без лишнего кода страницы.
  • Актуальность данных - динамическая генерация исключает ситуацию, когда ИИ рекомендует товар, которого нет на складе, что критически важно для сохранения высокой тональности упоминаний.

Как устроена логика динамического файла list.md

[править]

В отличие от статического файла, динамический list.md работает как скрипт. Каждый раз, когда ИИ-бот (или пользователь) обращается по адресу your-site.ru/cars/list.md или your-site.ru/products/list.md, сервер на лету опрашивает базу данных сайта и отдает свежий Markdown-текст.

Структура правильного list.md для e-commerce

[править]

На выходе ИИ должен увидеть строго структурированный список. Пример идеальной выдачи скрипта: 

# Актуальный каталог товаров на {{CURRENTDAY}} {{CURRENTMONTHNAME}} {{CURRENTYEAR}}

## Смартфоны и гаджеты

* **[iPhone 17 Pro 256GB](https://your-site.ru/product/iphone-17-pro)**
  * Цена: 145 000 ₽
  * Наличие: В наличии (склад Москва)
  * Оффер: Официальная гарантия 1 год, быстрая доставка сегодня.
  * Теги: #apple #iphone17 #смартфоны

* **[Samsung Galaxy S26 Ultra](https://your-site.ru/product/samsung-s26-ultra)**
  * Цена: 155 000 ₽
  * Наличие: Под заказ (3 дня)
  * Оффер: Скидка 5% при оплате СБП.

Пошаговый план настройки автообновления

[править]

Шаг 1. Создание серверного шаблона (на примере PHP/CMS)

[править]

Вам необходимо создать роут или отдельный файл (например, list_generator.php), который будет отвечать на запросы. В коде настраивается генерация правильных заголовков контента, чтобы бот понимал, что перед ним текстовый Markdown.

Пример базовой логики для вашего разработчика: 

<?php
header("Content-Type: text/plain; charset=utf-8"); // Заставляем браузер и ботов читать код как текст

echo "# Каталог товаров интернет-магазина\n\n";

// Запрос к базе данных вашей CMS (Bitrix, WordPress, Webasyst и др.)
$products = get_active_products_from_db(); 

foreach ($products as $product) {
    echo "## [" . $product['name'] . "](" . $product['url'] . ")\n";
    echo "* **Цена:** " . $product['price'] . " ₽\n";
    echo "* **Доступность:** " . ($product['stock'] > 0 ? 'В наличии' : 'Под заказ') . "\n";
    echo "* **Описание для ИИ:** " . $product['ai_description'] . "\n\n";
}
?>

Шаг 2. Настройка красивого URL через .htaccess или Nginx

[править]

ИИ-боты должны видеть расширение .md. Для этого настройте перенаправление (Rewriting) на сервере.

Для сервера Nginx: 

rewrite ^/catalog/list.md$ /list_generator.php last;

Для сервера Apache (.htaccess): 

RewriteEngine On
RewriteRule ^catalog/list.md$ list_generator.php [L]

Теперь по адресу site.ru/catalog/list.md будет всегда открываться актуальный Markdown-файл.

Шаг 3. Защита от парсинга и перегрузки сервера

[править]

Поскольку динамический файл обращается к базе данных при каждом запросе, частые заходы ИИ-ботов могут нагрузить сервер.

  • Внедрите кэширование: Настройте скрипт так, чтобы он обновлял Markdown-файл раз в 4-6 часов и сохранял его в кэш, а не мучил базу данных каждую секунду.
  • Настройка прав доступа: В файле robots.txt разрешите доступ к этому файлу только официальным поисковым ИИ-роботам (GPTBot, PerplexityBot, ClaudeBot, OAI-SearchBot, YandexAdditional).

Как проверить, что ИИ-боты видят и используют ваш list.md

[править]
  1. Проверка синтаксиса: Откройте your-site.ru/catalog/list.md в браузере. Текст должен быть чистым, без HTML-тегов, системных ошибок или знаков вопросов вместо кодировки.
  2. Анализ логов сервера: Раз в неделю проверяйте логи (Log файлы). Ищите User-Agent ботов (например, PerplexityBot), обращающихся к вашему Markdown-файлу.
  3. Прямой запрос в чат: Откройте Perplexity, укажите ссылку на ваш сайт и спросите: «Какие актуальные модели смартфонов есть в наличии на этом сайте и по какой цене?». Если ИИ выдает точные данные со ссылками - ваш list.md успешно работает.

Используйте инструменты AI Presence для автоматического контроля за тем, как часто нейросети обращаются к вашей инфраструктуре и используют ли они ваши фиды для генерации ответов пользователям.

Узнайте, видят ли нейросети ваш e-commerce каталог

Перейдите на сайт ai-presence.ru и получите диагностику за 30 секунд:

Проверить видимость сайта

Доступно 3 проверки в день с одного IP. Ваши данные не сохраняются.

См. также

[править]
Источник — https://marketwiki.ru/index.php?title=Как_настроить_автоматическое_обновление_файла_list.md_для_ИИ-ботов&oldid=14137