Агенты

Что такое headless-браузер — и почему агент видит сайт не так, как ты

Иллюстрация: браузерное окно без рамки, внутри вместо картинки — аккуратный текстовый список кнопок

Смотри, неожиданная штука: когда ИИ-агент «заходит на сайт», он обычно не смотрит на картинку страницы. Он читает её текстом — примерно как ты читал бы список кнопок вместо самой кнопки.

Инструмент, который это делает, называется headless-браузер. Без него агенты почти беспомощны в вебе. И именно на нём ломается первый скрипт почти у всех.

Браузер без окна — это тот же самый браузер

Headless дословно — «безголовый». Голова тут — окно с вкладками. Убираем окно, всё остальное остаётся.

Это важно понять сразу: headless Chrome — не урезанная версия. Тот же движок, тот же JavaScript, те же куки и та же вёрстка. Разница одна: страница рисуется не на экран, а в память.

Зачем так? Окно — самая дорогая часть браузера. А на сервере нет монитора и некому смотреть. Ты запускаешь браузер не чтобы показать, а чтобы получить результат: готовый DOM, скриншот или PDF.

Управляют этим обычно две библиотеки — Playwright и Puppeteer. Обе разговаривают с браузером по служебному протоколу (CDP), тому же, что стоит за DevTools. То есть агент буквально дёргает браузер за те же ручки, что и ты, когда открываешь панель разработчика.

Где ты уже встречал headless, даже не зная:

  • автотесты сайта в CI — там браузер прогоняет клики без окна;
  • «сохранить страницу в PDF» на сервере;
  • парсинг сайтов, где данные появляются только после JavaScript;
  • ИИ-агент, который сам открывает страницу и жмёт кнопки.

Что агент на самом деле «видит»

Вот тут самое интересное. Есть два способа показать страницу модели.

Скриншот. Честная картинка — но это тысячи токенов на один экран, и текст на ней модель ещё должна распознать.

Дерево страницы. Тот же экран, но текстом: заголовки, ссылки, поля, кнопки и их подписи. Компактно и однозначно.

Поэтому большинство агентов работают со вторым — читают структуру, а картинку берут, только когда без глаз никак (график, карта, «нажми на нужную часть изображения»).

Из этого следуют два практических вывода.

Агент видит то, чего не видно на скриншоте: скрытое меню, alt-текст, поле формы за модалкой. Иногда он кликает по кнопке, которую человек ещё не открыл.

И наоборот: агент слеп к нарисованному. Если интерфейс нарисован на canvas (карта, редактор, игра), в дереве страницы там пусто. Для модели это чистый лист — тут спасает только скриншот.

Три засады, на которых ломается первый скрипт

1. Пустая страница. Скрипт открыл сайт, забрал HTML — а там пусто. Дело в том, что современный сайт присылает почти голый каркас, а содержимое дорисовывает JavaScript через секунду.

Лечится не «поспать 3 секунды», а ожиданием конкретного элемента: жди, пока появится нужный селектор. Быстро — не ждёшь лишнего, надёжно — не гадаешь.

2. Сайт узнаёт робота. У браузера под управлением кода есть флаг navigator.webdriver — в обычном Chrome его нет, у Playwright и Puppeteer он true. Одной этой строки хватает, чтобы защита показала челлендж вместо страницы.

Признаков на деле больше: пустой список плагинов, следы протокола CDP в объекте window, отпечаток TLS-соединения. Плагины-«невидимки» закрывают верхний слой, но не всё — поэтому Cloudflare регулярно выигрывает.

Практический вывод: сначала ищи API. Официальный эндпоинт или RSS дешевле, быстрее и не ломается от редизайна. Браузер — крайняя мера.

3. Слишком много браузеров. Каждый экземпляр Chrome — это сотни мегабайт памяти. Десять параллельных вкладок на маленьком сервере кладут его молча. Закрывай страницы после работы и держи один браузер на несколько задач.

Когда headless нужен, а когда нет

Нужен, если данные появляются только после JavaScript, требуется вход по логину, нужен скриншот или PDF, либо агент должен пройти сценарий по шагам — как инструмент с руками.

Не нужен, если есть API, если страница отдаёт готовый HTML, если хватает RSS или выгрузки. Обычный HTTP-запрос в такой ситуации в разы быстрее и не падает от смены вёрстки.

Что унести с собой: headless-браузер — это Chrome, у которого отобрали окно и выдали клавиатуру роботу. Он видит структуру, а не красоту, спотыкается на асинхронной загрузке и честно признаётся сайту, что он робот. Знаешь это — и половина будущих багов твоего агента уже не сюрприз.

Headless-браузер — это законно?

Сам инструмент — да, это обычный Chrome, на нём держатся автотесты половины индустрии. Вопросы возникают к тому, что ты им делаешь: читай условия использования сайта и robots.txt, не собирай персональные данные и не создавай нагрузку.

Чем headless отличается от простого HTTP-запроса?

HTTP-запрос забирает исходный текст страницы и на этом всё. Headless-браузер ещё и выполняет JavaScript, применяет стили и ждёт загрузки — то есть отдаёт страницу такой, какой её увидел бы человек. Платишь за это памятью и секундами.

Можно ли запустить headless-браузер бесплатно?

Да. Playwright и Puppeteer бесплатны и ставятся одной командой, браузер они скачивают сами. Платить приходится за облачные сервисы браузеров — их берут, когда нужны сотни параллельных сессий или обход защит.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →