Что такое парсинг сайтов — и законно ли собирать данные ботом

Вот факт, который меняет картинку: всё, что ты видишь на сайте, уже скачано к тебе на устройство. Цены, расписания, вакансии — браузер получил их текстом и только потом красиво нарисовал. Парсинг — это когда то же самое читает не человек, а программа. Без браузера, без глаз и без усталости.

Именно так работают сервисы «следим за ценами конкурентов», агрегаторы билетов и половина ботов-уведомлялок. Разберём, как это устроено, где проходят границы — и почему ИИ недавно поменял правила игры.

Что такое парсинг простыми словами

Парсинг сайтов (по-английски web scraping — «соскребание») — это автоматический сбор данных с веб-страниц. Программа делает три шага:

• Скачать страницу. Тот же запрос, что делает браузер, — только без картинки на экране.
• Найти нужное. В скачанном тексте отыскать цену, заголовок или дату.
• Сохранить. Сложить находки в таблицу или JSON — и повторить завтра.

Один проход руками занял бы у тебя вечер. Программа делает его за секунды — и не по одной странице, а по тысяче.

Как это работает под капотом

Страница, которую скачивает парсер, — это HTML: текст с разметкой, где у каждого куска есть своё место. Цена товара лежит не «где-то на странице», а в конкретном элементе — условно, «третья ячейка в блоке с товаром».

Классический парсер так и пишут: «возьми блок с классом price, вытащи число». Это называется селектором — адресом элемента внутри страницы.

И тут же — главная слабость. Сайт обновил дизайн, блок переименовали — и парсер молча начал приносить пустоту. Не ошибку, а именно пустоту: адрес есть, квартиры нет. Поэтому раньше парсеры были вечной стройкой: сайты меняются, селекторы отваливаются.

При чём тут ИИ

Языковая модель читает страницу не по адресам, а по смыслу — как человек. Промпт «вот текст страницы, верни название товара и цену» переживает любой редизайн: модель найдёт цену, где бы она ни стояла.

Плата за это — деньги и скорость. Прогнать тысячу страниц через модель дороже и медленнее, чем через селекторы. Поэтому взрослые проекты часто делают гибрид: массовый сбор — классикой, а ИИ чинит места, где вёрстка поменялась, или разбирает страницы, у которых нет чёткой структуры.

Законно ли это

Честный ответ: зависит от того, что и как ты собираешь. Юридических советов тут не будет, но три ориентира знать стоит.

• Правила сайта. У многих сервисов в пользовательском соглашении прямо написано: автоматический сбор запрещён. Нарушение — это как минимум бан аккаунта и блокировка твоих запросов.
• Личные данные — отдельная строгая история. Собирать имена, телефоны и профили людей — совсем не то же самое, что собирать цены на чайники. В большинстве стран это регулируется законом, и «данные были публичны» — не индульгенция.
• Вежливость измерима. Файл robots.txt на сайте говорит роботам, куда им можно. А частота запросов — твоя ответственность: сто запросов в секунду с одного адреса сайт воспринимает как атаку и включает защиту — знакомься, rate limit.

Практичное правило новичка: собирай публичные цифры и тексты для себя, ставь паузы между запросами и не трогай персональные данные.

Когда парсить вообще не нужно

Самая частая ошибка новичка — писать парсер там, где сайт сам отдаёт данные. У многих сервисов есть API — официальная дверь для программ: данные приходят чистым JSON, ничего не ломается от редизайна, и правила использования написаны явно.

Поэтому первый шаг любого проекта со сбором данных — не код, а поиск: «имя-сервиса API». Дверь есть — иди в дверь. Парсинг — это форточка на случай, когда двери нет.

Парсинг и скрейпинг — одно и то же?

В разговоре — да: по-русски «парсить сайты» означает то, что по-английски называют web scraping. Формально parsing — это разбор уже скачанного текста, а scraping — весь процесс сбора целиком.

Сайт может понять, что я бот?

Может: по частоте запросов, отсутствию браузерных признаков и повторяющимся маршрутам. Поэтому крупные сайты показывают ботам капчу или отдают пустые страницы. Паузы между запросами и небольшие объёмы — лучший способ не попадать в этот радар.