Перейти к содержимому

llms.txt: нужен ли он сайту компании и что действительно подтверждено

llms.txt: нужен ли он сайту компании и что действительно подтверждено

llms.txt предлагают использовать как короткую карту сайта для ИИ-агентов: в файле перечисляют основные разделы, документацию и страницы, которые могут быть полезны модели. Формат уже используется на реальных сайтах и поддерживается некоторыми инструментами для ИИ-агентов. Например, Chrome Lighthouse умеет проверять наличие и корректность llms.txt. При этом Google Search прямо указывает, что файл не используется для ранжирования, AI Overviews и AI Mode. Поэтому вопрос нужен ли llms.txt лучше рассматривать с практической стороны: что он реально делает и чего от него ждать не стоит.

Что предлагают хранить в llms.txt

Файл llms.txt обычно размещают по адресу:

https://example.com/llms.txt

Формат основан на Markdown. В файл предлагают добавлять:

  • H1 с названием проекта или компании;
  • краткое описание сайта;
  • ссылки на основные продукты;
  • документацию и базу знаний;
  • API и технические инструкции;
  • другие страницы, которые могут дать ИИ полезный контекст.

Копировать туда весь sitemap не нужно. Смысл файла именно в короткой выборке важных материалов.

Для крупного сайта разумнее оставить несколько основных разделов, чем выгружать тысячи карточек товаров или статей.

Отличие от robots.txt и sitemap

Связка llms.txt и robots.txt часто создаёт путаницу: llms.txt иногда называют «robots.txt для нейросетей». Технически это разные вещи.

robots.txt управляет доступом поддерживающих стандарт роботов:

User-agent: *
Disallow: /admin/

sitemap.xml передаёт поисковым системам список URL, которые стоит обнаружить и просканировать.

llms.txt ничего не запрещает и не разрешает. Он лишь подсказывает ИИ-агенту, какие материалы на сайте считаются основными.

Подробнее о том, как работают индексация сайта и поисковые роботы, мы рассказывали отдельно. 

Что такое llms.txt, чем он отличается от robots.txt и sitemap.xml, что говорят поисковые системы и влияет ли файл на цитирование сайта в ИИ.

Поэтому llms.txt не заменяет robots.txt, sitemap, внутреннюю перелинковку или нормальную структуру сайта.

Что прямо сообщают поисковые системы

Google прямо указывает, что llms.txt не требуется для обычного поиска, AI Overviews и других генеративных функций. Наличие файла не повышает позиции сайта и не даёт отдельного преимущества при появлении контента в ИИ-ответах.

Для Google по-прежнему работают обычные требования: страница должна быть доступна для обхода, корректно индексироваться и содержать полезный контент.

Отдельного SEO-сигнала у llms.txt нет.

Это главный момент, который стоит учитывать перед внедрением. Пока нет подтверждений, что добавление файла само по себе повышает вероятность цитирования сайта в ChatGPT, Google, Copilot или других ИИ-сервисах.

Пример корректного файла

Простой llms txt пример для хостинг-провайдера может выглядеть так:

# Example Hosting

> Виртуальный хостинг, VPS, домены и SSL-сертификаты.

## Products
- [Hosting](https://example.com/hosting/): виртуальный хостинг
- [VPS](https://example.com/vps/): виртуальные серверы
- [Domains](https://example.com/domains/): регистрация доменов

## Documentation
- [Knowledge Base](https://example.com/help/): база знаний
- [DNS](https://example.com/help/dns/): настройка DNS
- [VPS Docs](https://example.com/help/vps/): инструкции по VPS

Этого достаточно, чтобы агент понял тематику сайта и получил ссылки на основные материалы.

Не стоит:

  • выгружать в файл весь sitemap;
  • добавлять закрытые страницы;
  • оставлять ссылки с 404;
  • писать длинные рекламные описания;
  • дублировать одни и те же URL;
  • создавать файл и забывать о его обновлении.

Как проверить ответ сервера и содержание

Сначала нужно убедиться, что /llms.txt вообще корректно отдаётся сервером:

curl -I https://example.com/llms.txt

Нормальный ответ:

HTTP/2 200
Content-Type: text/plain

Если используется редирект:

curl -IL https://example.com/llms.txt

Посмотреть содержимое:

curl -s https://example.com/llms.txt

После этого стоит проверить сам файл:

  • сервер возвращает 200 OK;
  • вместо Markdown не приходит HTML-страница ошибки;
  • ссылки открываются;
  • нет тестовых или внутренних URL;
  • описание соответствует текущим продуктам;
  • отсутствуют битые и устаревшие ссылки.

Если llms.txt генерируется автоматически, такую проверку можно добавить в CI/CD. Тогда изменение URL или структуры сайта не оставит в файле пачку неработающих ссылок.

Что измерять и почему наличие файла не гарантирует цитирования

Само наличие llms.txt ничего не говорит о том, пользуются ли им ИИ-системы. Проверять это лучше по логам веб-сервера.

Полезно отслеживать:

  • запросы к /llms.txt;
  • User-Agent;
  • частоту обращений;
  • страницы, которые бот запрашивает после файла;
  • обращения известных ИИ-краулеров к сайту.

Даже если бот скачал llms.txt, это ещё не означает, что компания появится в ответе модели. Между обходом страницы и цитированием работают поиск источников, индексация, оценка релевантности и собственные алгоритмы конкретного сервиса.

Поэтому файл llms.txt можно добавить как недорогой эксперимент — особенно для сайта с документацией, API или большой базой знаний. Но делать его приоритетной SEO-задачей пока нет оснований.

Если приходится выбирать между llms.txt и исправлением индексации, битых ссылок, структуры сайта, документации или серверных ошибок, сначала стоит заняться самим сайтом. llms.txt имеет смысл использовать как дополнительный машиночитаемый указатель, а не как способ гарантированно попасть в ответы ИИ.

Поделиться: