Агенты

Что такое llms.txt — и почему Google говорит, что он не нужен

Иллюстрация: у входа в дом лежит короткая записка со схемой комнат

Про llms.txt пишут так, будто это новый SEO: «положи файл — и нейросети начнут тебя цитировать». Хитрая штука в том, что Google на своей же странице про ИИ-функции написал ровно обратное.

Давай разберёмся, что это за файл, откуда он взялся и когда его правда стоит сделать.

Зачем вообще понадобился ещё один файл

Идея простая и честная. Спека формулирует проблему так:

Веб-страницы сделаны для людей. HTML-страница заворачивает информацию в навигацию, рекламу и JavaScript, и превратить это обратно в чистый текст трудно и неточно.

И вторая половина проблемы: «контекстные окна, хоть и выросли, всё ещё малы для большинства сайтов целиком».

То есть модель физически не может проглотить твой сайт. А то, что она всё-таки читает, наполовину состоит из меню, баннеров и кнопок «принять куки».

llms.txt предлагает решение в лоб: положи в корень сайта короткий текстовый файл, где своими словами написано, что тут вообще есть и куда идти за деталями. Автор идеи — Джереми Ховард, спека опубликована 3 сентября 2024 года. Сегодня ей ровно два года.

Как он устроен внутри

Это обычный Markdown, а не новый синтаксис. Порядок секций спека задаёт жёстко:

  • заголовок первого уровня с названием проекта — единственная обязательная часть;
  • цитата-блоквот с коротким описанием;
  • сколько угодно обычных абзацев с деталями;
  • списки ссылок под заголовками второго уровня.

Выглядит это так:

# KODiQ

> Приложение, которое учит собирать штуки с ИИ с нуля.

## Docs
- [Что такое промпт](https://kodiq.ai/article/what-is-a-prompt/): базовое понятие
- [Как задеплоить](https://kodiq.ai/article/what-is-deployment/): от кода до адреса

## Optional
- [Блог](https://kodiq.ai/feed/): статьи целиком

Полезная деталь, о которой почти не пишут: файл не обязан лежать в корне. Спека разрешает положить его по любому пути — тогда он описывает страницы под этим путём. Удобно, если у тебя документация живёт отдельным разделом.

А кто его читает

Вот здесь начинается интересное.

Сайт спеки утверждает, что «тысячи сайтов публикуют llms.txt, платформы документации генерируют его автоматически, а Lighthouse в Chrome проверяет его наличие».

А Google в справке для владельцев сайтов пишет прямо:

Тебе не нужно создавать новые машиночитаемые файлы, ИИ-текстовики или разметку, чтобы попадать в эти функции.

Там же: «Нет дополнительных требований, чтобы появляться в ИИ-обзорах или ИИ-режиме, и никаких особых оптимизаций не нужно».

Это не спор о вкусах. Это два разных сценария, которые все путают:

  • Поиск и ИИ-ответы поисковика. Файл не нужен. Робот придёт по обычным ссылкам, прочитает обычный HTML и решит сам.
  • Агент, которому ты сам дал адрес. Файл нужен и работает. Ты скидываешь ссылку ИИ-агенту, он тянет короткий индекс вместо того, чтобы обходить сорок страниц с меню.

Когда его стоит делать, а когда нет

Стоит, если у тебя есть что-то, что ИИ читает по твоей наводке: документация, API, справка продукта, библиотека. Тут выигрыш реальный — агент получает чистый текст вместо супа из разметки.

Не стоит, если цель — «попасть в ИИ-поиск» или «подняться в Google». За это отвечает SEO и обычная понятная страница, а не лишний файл в корне.

И честное предупреждение: файл придётся поддерживать руками. Мёртвый llms.txt с ссылками на страницы, которых уже нет, хуже, чем никакого.

Про соседний файл, который читают все и всегда, есть отдельный разбор — robots.txt или llms.txt.

Ошибка, которая убивает всю идею

Самое частое, что делают с llms.txt: сваливают туда весь текст сайта. Целые статьи, полные описания разделов, километр букв — «пусть модель прочитает всё сразу».

Так делать нельзя, и вот почему. Спека родилась ровно из проблемы «контекстные окна малы для большинства сайтов целиком». Если ты положишь в файл весь сайт, ты воспроизведёшь эту проблему заново, только теперь одним куском.

Формат придуман как индекс, а не как архив. Посмотри на структуру ещё раз: название, короткое описание, списки ссылок с пояснениями. Модель читает индекс, понимает карту и идёт за деталями по конкретной ссылке — ровно тогда, когда деталь понадобилась.

Практическое правило: если файл не помещается на пару экранов, ты пишешь не llms.txt, а второй сайт.

Проверить чужой файл можно за три секунды: добавь /llms.txt к адресу любого сервиса с документацией. Заодно увидишь, как это оформляют люди, которые уже собаку съели.

llms.txt поможет попасть в ответы ChatGPT?

Напрямую — нет. Он помогает, когда модель уже открыла твой сайт: даёт ей короткий чистый индекс вместо тяжёлых HTML-страниц.

Это официальный стандарт?

Нет. Это открытое предложение, а не стандарт какого-нибудь консорциума. Никто не обязан его читать, и никакого штрафа за отсутствие файла не существует.

Чем llms.txt отличается от карты сайта?

Карта сайта — список адресов для поисковых роботов, машинный XML. llms.txt — текст для чтения моделью: с названием, описанием и пояснением, зачем нужна каждая ссылка.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →