llms.txt предлагают использовать как короткую карту сайта для ИИ-агентов: в файле перечисляют основные разделы, документацию и страницы, которые могут быть полезны модели. Формат уже используется на реальных сайтах и поддерживается некоторыми инструментами для ИИ-агентов. Например, Chrome Lighthouse умеет проверять наличие и корректность llms.txt. При этом Google Search прямо указывает, что файл не используется для ранжирования, AI Overviews и AI Mode. Поэтому вопрос нужен ли llms.txt лучше рассматривать с практической стороны: что он реально делает и чего от него ждать не стоит.
Что предлагают хранить в llms.txt
Файл llms.txt обычно размещают по адресу:
https://example.com/llms.txt
Формат основан на Markdown. В файл предлагают добавлять:
- H1 с названием проекта или компании;
- краткое описание сайта;
- ссылки на основные продукты;
- документацию и базу знаний;
- API и технические инструкции;
- другие страницы, которые могут дать ИИ полезный контекст.
Копировать туда весь sitemap не нужно. Смысл файла именно в короткой выборке важных материалов.
Для крупного сайта разумнее оставить несколько основных разделов, чем выгружать тысячи карточек товаров или статей.
Отличие от robots.txt и sitemap
Связка llms.txt и robots.txt часто создаёт путаницу: llms.txt иногда называют «robots.txt для нейросетей». Технически это разные вещи.
robots.txt управляет доступом поддерживающих стандарт роботов:
User-agent: * Disallow: /admin/
sitemap.xml передаёт поисковым системам список URL, которые стоит обнаружить и просканировать.
llms.txt ничего не запрещает и не разрешает. Он лишь подсказывает ИИ-агенту, какие материалы на сайте считаются основными.
Подробнее о том, как работают индексация сайта и поисковые роботы, мы рассказывали отдельно.
Поэтому llms.txt не заменяет robots.txt, sitemap, внутреннюю перелинковку или нормальную структуру сайта.
Что прямо сообщают поисковые системы
Google прямо указывает, что llms.txt не требуется для обычного поиска, AI Overviews и других генеративных функций. Наличие файла не повышает позиции сайта и не даёт отдельного преимущества при появлении контента в ИИ-ответах.
Для Google по-прежнему работают обычные требования: страница должна быть доступна для обхода, корректно индексироваться и содержать полезный контент.
Отдельного SEO-сигнала у llms.txt нет.
Это главный момент, который стоит учитывать перед внедрением. Пока нет подтверждений, что добавление файла само по себе повышает вероятность цитирования сайта в ChatGPT, Google, Copilot или других ИИ-сервисах.
Пример корректного файла
Простой llms txt пример для хостинг-провайдера может выглядеть так:
# Example Hosting > Виртуальный хостинг, VPS, домены и SSL-сертификаты. ## Products - [Hosting](https://example.com/hosting/): виртуальный хостинг - [VPS](https://example.com/vps/): виртуальные серверы - [Domains](https://example.com/domains/): регистрация доменов ## Documentation - [Knowledge Base](https://example.com/help/): база знаний - [DNS](https://example.com/help/dns/): настройка DNS - [VPS Docs](https://example.com/help/vps/): инструкции по VPS
Этого достаточно, чтобы агент понял тематику сайта и получил ссылки на основные материалы.
Не стоит:
- выгружать в файл весь sitemap;
- добавлять закрытые страницы;
- оставлять ссылки с 404;
- писать длинные рекламные описания;
- дублировать одни и те же URL;
- создавать файл и забывать о его обновлении.
Как проверить ответ сервера и содержание
Сначала нужно убедиться, что /llms.txt вообще корректно отдаётся сервером:
curl -I https://example.com/llms.txt
Нормальный ответ:
HTTP/2 200 Content-Type: text/plain
Если используется редирект:
curl -IL https://example.com/llms.txt
Посмотреть содержимое:
curl -s https://example.com/llms.txt
После этого стоит проверить сам файл:
- сервер возвращает 200 OK;
- вместо Markdown не приходит HTML-страница ошибки;
- ссылки открываются;
- нет тестовых или внутренних URL;
- описание соответствует текущим продуктам;
- отсутствуют битые и устаревшие ссылки.
Если llms.txt генерируется автоматически, такую проверку можно добавить в CI/CD. Тогда изменение URL или структуры сайта не оставит в файле пачку неработающих ссылок.
Что измерять и почему наличие файла не гарантирует цитирования
Само наличие llms.txt ничего не говорит о том, пользуются ли им ИИ-системы. Проверять это лучше по логам веб-сервера.
Полезно отслеживать:
- запросы к /llms.txt;
- User-Agent;
- частоту обращений;
- страницы, которые бот запрашивает после файла;
- обращения известных ИИ-краулеров к сайту.
Даже если бот скачал llms.txt, это ещё не означает, что компания появится в ответе модели. Между обходом страницы и цитированием работают поиск источников, индексация, оценка релевантности и собственные алгоритмы конкретного сервиса.
Поэтому файл llms.txt можно добавить как недорогой эксперимент — особенно для сайта с документацией, API или большой базой знаний. Но делать его приоритетной SEO-задачей пока нет оснований.
Если приходится выбирать между llms.txt и исправлением индексации, битых ссылок, структуры сайта, документации или серверных ошибок, сначала стоит заняться самим сайтом. llms.txt имеет смысл использовать как дополнительный машиночитаемый указатель, а не как способ гарантированно попасть в ответы ИИ.
