Что такое human-in-the-loop — и почему твоё подтверждение молча пропускают

Ты написал функцию подтверждения: перед опасным действием агент спрашивает тебя. Проверил на паре команд — работает.
А через неделю агент удалил папку, ничего не спросив.
Функция цела, вызова не было. Так и выглядит главная ловушка human-in-the-loop: подтверждение легко сделать тем, что срабатывает не всегда — и молча.
Что такое human-in-the-loop
Дословно — «человек в петле». Это точка, где автоматика останавливается и ждёт решения человека, вместо того чтобы действовать самой.
Для ИИ-агента это выглядит просто: агент собрался вызвать инструмент, но перед вызовом показывает тебе, что именно он хочет сделать. Ты жмёшь «да» — вызов идёт. Жмёшь «нет» — агент получает отказ и продолжает работу другим путём.
Ключевая мысль: гейт стоит перед действием, а не после. Разбор постфактум — это уже не human-in-the-loop, а разбор последствий.
Два разных human-in-the-loop
Термин старше агентов, и в поиске путаются два смысла.
В обучении моделей это люди, которые размечают данные и сравнивают ответы: их выбор превращается в сигнал, на котором модель дообучают. Так устроен RLHF — человек в петле обучения.
В агентах это подтверждение конкретного действия здесь и сейчас. Никакого обучения, просто «спроси, прежде чем нажать».
Общее у них одно: человек нужен там, где машина уверена, но может быть уверена зря.
Где ставить кнопку
Простое правило, которое экономит нервы: делить не по «опасно / не опасно», а по обратимости.
- Чтение — свободно. Посмотреть файлы, поискать в базе, сходить в поиск. Ошибся — ничего не случилось.
- Обратимая запись — на твой вкус. Черновик, ветка в git, локальный файл. Откатывается за минуту.
- Необратимое — только через подтверждение. Деньги, отправка наружу, удаление, доступы, прод.
Гейт на каждый шаг убивает всю пользу от агента: ты сидишь и жмёшь «да» триста раз, потом перестаёшь читать — и жмёшь «да» на четыреста первое, которое стоило прочитать. Подробный разбор — в списке действий, которые нельзя одобрять заранее.
Как это устроено внутри
В зрелых агентских SDK подтверждение — не одна проверка, а очередь из нескольких. В Claude Agent SDK, например, запрос инструмента проходит шесть ступеней подряд: сначала хуки, потом правила запрета, потом правила «спросить», потом режим доступа, потом правила разрешения — и только в конце тот самый колбэк, который показывает вопрос тебе.
Порядок тут — не формальность. Он объясняет ловушку из начала статьи.
Ловушка: разрешено раньше — значит, не спросят
Смотри, что происходит. Ты добавил инструмент в список разрешённых, чтобы не отвечать на каждый чих. Теперь его вызовы одобряются на ступени «правила разрешения» — то есть до твоего колбэка. Колбэк просто не вызывается.
В документации это сказано прямо: авто-одобренный вызов пропускает твою проверку, и проверки, которые ты в неё положил, для этого инструмента «тихо обходятся». Ни ошибки, ни лога — ничего.
Отсюда три практических вывода:
- Разрешай точечно.
Bashцеликом — это разрешение на всё, включаяrm. Правило видаBash(ls *)разрешает только безобидное, остальное всё ещё спросят. - Если проверка обязана срабатывать всегда — ставь её хуком: хуки идут первыми и работают даже в режиме «ничего не спрашивать».
- Помни про субагентов. Они наследуют режим доступа родителя. Запустил главного агента без вопросов — все его помощники тоже без вопросов, а системный промпт у них другой.
Как выглядит вопрос, на который можно осмысленно ответить
Гейт работает ровно настолько, насколько понятен вопрос. «Агент хочет выполнить действие. Разрешить?» — это не подтверждение, а кнопка «отстань».
В хорошем окне подтверждения видно четыре вещи:
- Точная команда или запрос, целиком, с аргументами. Не «удалить файлы», а конкретная строка — именно в аргументах прячется разница между «почистить кэш» и «снести проект».
- Что изменится. Для правки файла — дифф. Для базы — сколько строк затронет.
- Зачем. Одна фраза от агента: какой шаг плана он этим закрывает.
- Три ответа, а не два: разрешить один раз, разрешить всегда для такого вида вызовов, отказать. Без среднего варианта человек либо жмёт «всегда» на всё подряд, либо тонет в вопросах.
И помни про усталость от уведомлений: если вопросов больше десятка за сессию, ты перестаёшь их читать. Уменьшать надо не внимательность человека, а количество вопросов.
Это не убивает автономность агента?
Нет, если гейтов немного. Рабочая конфигурация — «читать можно всё, писать нельзя ничего без спроса»: агент сам собирает контекст, сам придумывает план и останавливается ровно на действиях, у которых есть последствия. Это не медленнее, это просто не страшно.
Можно ли поручить подтверждение другой модели?
Частично. Модель-классификатор неплохо отсекает шум и рутину, и такие режимы уже есть в SDK. Но у неё та же слабость, что у основного агента: убедительный текст в данных может её переубедить — это и есть инъекция в промпт. Для необратимого оставляй живого человека.
А песочница не решает ту же задачу?
Она решает соседнюю. Песочница ограничивает, где агент может напортить, — внутри коробки хоть всё сноси. Human-in-the-loop решает, что ему разрешено сделать снаружи: списать деньги, отправить письмо, выкатить релиз. Песочница не спасёт от неверного платежа, а подтверждение — от кривого кода в изоляции. Нужны обе.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





