Что такое headless-браузер — и почему агент видит сайт не так, как ты

Смотри, неожиданная штука: когда ИИ-агент «заходит на сайт», он обычно не смотрит на картинку страницы. Он читает её текстом — примерно как ты читал бы список кнопок вместо самой кнопки.
Инструмент, который это делает, называется headless-браузер. Без него агенты почти беспомощны в вебе. И именно на нём ломается первый скрипт почти у всех.
Браузер без окна — это тот же самый браузер
Headless дословно — «безголовый». Голова тут — окно с вкладками. Убираем окно, всё остальное остаётся.
Это важно понять сразу: headless Chrome — не урезанная версия. Тот же движок, тот же JavaScript, те же куки и та же вёрстка. Разница одна: страница рисуется не на экран, а в память.
Зачем так? Окно — самая дорогая часть браузера. А на сервере нет монитора и некому смотреть. Ты запускаешь браузер не чтобы показать, а чтобы получить результат: готовый DOM, скриншот или PDF.
Управляют этим обычно две библиотеки — Playwright и Puppeteer. Обе разговаривают с браузером по служебному протоколу (CDP), тому же, что стоит за DevTools. То есть агент буквально дёргает браузер за те же ручки, что и ты, когда открываешь панель разработчика.
Где ты уже встречал headless, даже не зная:
- автотесты сайта в CI — там браузер прогоняет клики без окна;
- «сохранить страницу в PDF» на сервере;
- парсинг сайтов, где данные появляются только после JavaScript;
- ИИ-агент, который сам открывает страницу и жмёт кнопки.
Что агент на самом деле «видит»
Вот тут самое интересное. Есть два способа показать страницу модели.
Скриншот. Честная картинка — но это тысячи токенов на один экран, и текст на ней модель ещё должна распознать.
Дерево страницы. Тот же экран, но текстом: заголовки, ссылки, поля, кнопки и их подписи. Компактно и однозначно.
Поэтому большинство агентов работают со вторым — читают структуру, а картинку берут, только когда без глаз никак (график, карта, «нажми на нужную часть изображения»).
Из этого следуют два практических вывода.
Агент видит то, чего не видно на скриншоте: скрытое меню, alt-текст, поле формы за модалкой. Иногда он кликает по кнопке, которую человек ещё не открыл.
И наоборот: агент слеп к нарисованному. Если интерфейс нарисован на canvas (карта, редактор, игра), в дереве страницы там пусто. Для модели это чистый лист — тут спасает только скриншот.
Три засады, на которых ломается первый скрипт
1. Пустая страница. Скрипт открыл сайт, забрал HTML — а там пусто. Дело в том, что современный сайт присылает почти голый каркас, а содержимое дорисовывает JavaScript через секунду.
Лечится не «поспать 3 секунды», а ожиданием конкретного элемента: жди, пока появится нужный селектор. Быстро — не ждёшь лишнего, надёжно — не гадаешь.
2. Сайт узнаёт робота. У браузера под управлением кода есть флаг navigator.webdriver — в обычном Chrome его нет, у Playwright и Puppeteer он true. Одной этой строки хватает, чтобы защита показала челлендж вместо страницы.
Признаков на деле больше: пустой список плагинов, следы протокола CDP в объекте window, отпечаток TLS-соединения. Плагины-«невидимки» закрывают верхний слой, но не всё — поэтому Cloudflare регулярно выигрывает.
Практический вывод: сначала ищи API. Официальный эндпоинт или RSS дешевле, быстрее и не ломается от редизайна. Браузер — крайняя мера.
3. Слишком много браузеров. Каждый экземпляр Chrome — это сотни мегабайт памяти. Десять параллельных вкладок на маленьком сервере кладут его молча. Закрывай страницы после работы и держи один браузер на несколько задач.
Когда headless нужен, а когда нет
Нужен, если данные появляются только после JavaScript, требуется вход по логину, нужен скриншот или PDF, либо агент должен пройти сценарий по шагам — как инструмент с руками.
Не нужен, если есть API, если страница отдаёт готовый HTML, если хватает RSS или выгрузки. Обычный HTTP-запрос в такой ситуации в разы быстрее и не падает от смены вёрстки.
Что унести с собой: headless-браузер — это Chrome, у которого отобрали окно и выдали клавиатуру роботу. Он видит структуру, а не красоту, спотыкается на асинхронной загрузке и честно признаётся сайту, что он робот. Знаешь это — и половина будущих багов твоего агента уже не сюрприз.
Headless-браузер — это законно?
Сам инструмент — да, это обычный Chrome, на нём держатся автотесты половины индустрии. Вопросы возникают к тому, что ты им делаешь: читай условия использования сайта и robots.txt, не собирай персональные данные и не создавай нагрузку.
Чем headless отличается от простого HTTP-запроса?
HTTP-запрос забирает исходный текст страницы и на этом всё. Headless-браузер ещё и выполняет JavaScript, применяет стили и ждёт загрузки — то есть отдаёт страницу такой, какой её увидел бы человек. Платишь за это памятью и секундами.
Можно ли запустить headless-браузер бесплатно?
Да. Playwright и Puppeteer бесплатны и ставятся одной командой, браузер они скачивают сами. Платить приходится за облачные сервисы браузеров — их берут, когда нужны сотни параллельных сессий или обход защит.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





