Агенты

Что такое human-in-the-loop — и почему твоё подтверждение молча пропускают

Иллюстрация: механическая рука замерла перед рычагом, рядом маленькая рука человека

Ты написал функцию подтверждения: перед опасным действием агент спрашивает тебя. Проверил на паре команд — работает.

А через неделю агент удалил папку, ничего не спросив.

Функция цела, вызова не было. Так и выглядит главная ловушка human-in-the-loop: подтверждение легко сделать тем, что срабатывает не всегда — и молча.

Что такое human-in-the-loop

Дословно — «человек в петле». Это точка, где автоматика останавливается и ждёт решения человека, вместо того чтобы действовать самой.

Для ИИ-агента это выглядит просто: агент собрался вызвать инструмент, но перед вызовом показывает тебе, что именно он хочет сделать. Ты жмёшь «да» — вызов идёт. Жмёшь «нет» — агент получает отказ и продолжает работу другим путём.

Ключевая мысль: гейт стоит перед действием, а не после. Разбор постфактум — это уже не human-in-the-loop, а разбор последствий.

Два разных human-in-the-loop

Термин старше агентов, и в поиске путаются два смысла.

В обучении моделей это люди, которые размечают данные и сравнивают ответы: их выбор превращается в сигнал, на котором модель дообучают. Так устроен RLHF — человек в петле обучения.

В агентах это подтверждение конкретного действия здесь и сейчас. Никакого обучения, просто «спроси, прежде чем нажать».

Общее у них одно: человек нужен там, где машина уверена, но может быть уверена зря.

Где ставить кнопку

Простое правило, которое экономит нервы: делить не по «опасно / не опасно», а по обратимости.

  • Чтение — свободно. Посмотреть файлы, поискать в базе, сходить в поиск. Ошибся — ничего не случилось.
  • Обратимая запись — на твой вкус. Черновик, ветка в git, локальный файл. Откатывается за минуту.
  • Необратимое — только через подтверждение. Деньги, отправка наружу, удаление, доступы, прод.

Гейт на каждый шаг убивает всю пользу от агента: ты сидишь и жмёшь «да» триста раз, потом перестаёшь читать — и жмёшь «да» на четыреста первое, которое стоило прочитать. Подробный разбор — в списке действий, которые нельзя одобрять заранее.

Как это устроено внутри

В зрелых агентских SDK подтверждение — не одна проверка, а очередь из нескольких. В Claude Agent SDK, например, запрос инструмента проходит шесть ступеней подряд: сначала хуки, потом правила запрета, потом правила «спросить», потом режим доступа, потом правила разрешения — и только в конце тот самый колбэк, который показывает вопрос тебе.

Порядок тут — не формальность. Он объясняет ловушку из начала статьи.

Ловушка: разрешено раньше — значит, не спросят

Смотри, что происходит. Ты добавил инструмент в список разрешённых, чтобы не отвечать на каждый чих. Теперь его вызовы одобряются на ступени «правила разрешения» — то есть до твоего колбэка. Колбэк просто не вызывается.

В документации это сказано прямо: авто-одобренный вызов пропускает твою проверку, и проверки, которые ты в неё положил, для этого инструмента «тихо обходятся». Ни ошибки, ни лога — ничего.

Отсюда три практических вывода:

  1. Разрешай точечно. Bash целиком — это разрешение на всё, включая rm. Правило вида Bash(ls *) разрешает только безобидное, остальное всё ещё спросят.
  2. Если проверка обязана срабатывать всегда — ставь её хуком: хуки идут первыми и работают даже в режиме «ничего не спрашивать».
  3. Помни про субагентов. Они наследуют режим доступа родителя. Запустил главного агента без вопросов — все его помощники тоже без вопросов, а системный промпт у них другой.

Как выглядит вопрос, на который можно осмысленно ответить

Гейт работает ровно настолько, насколько понятен вопрос. «Агент хочет выполнить действие. Разрешить?» — это не подтверждение, а кнопка «отстань».

В хорошем окне подтверждения видно четыре вещи:

  1. Точная команда или запрос, целиком, с аргументами. Не «удалить файлы», а конкретная строка — именно в аргументах прячется разница между «почистить кэш» и «снести проект».
  2. Что изменится. Для правки файла — дифф. Для базы — сколько строк затронет.
  3. Зачем. Одна фраза от агента: какой шаг плана он этим закрывает.
  4. Три ответа, а не два: разрешить один раз, разрешить всегда для такого вида вызовов, отказать. Без среднего варианта человек либо жмёт «всегда» на всё подряд, либо тонет в вопросах.

И помни про усталость от уведомлений: если вопросов больше десятка за сессию, ты перестаёшь их читать. Уменьшать надо не внимательность человека, а количество вопросов.

Это не убивает автономность агента?

Нет, если гейтов немного. Рабочая конфигурация — «читать можно всё, писать нельзя ничего без спроса»: агент сам собирает контекст, сам придумывает план и останавливается ровно на действиях, у которых есть последствия. Это не медленнее, это просто не страшно.

Можно ли поручить подтверждение другой модели?

Частично. Модель-классификатор неплохо отсекает шум и рутину, и такие режимы уже есть в SDK. Но у неё та же слабость, что у основного агента: убедительный текст в данных может её переубедить — это и есть инъекция в промпт. Для необратимого оставляй живого человека.

А песочница не решает ту же задачу?

Она решает соседнюю. Песочница ограничивает, где агент может напортить, — внутри коробки хоть всё сноси. Human-in-the-loop решает, что ему разрешено сделать снаружи: списать деньги, отправить письмо, выкатить релиз. Песочница не спасёт от неверного платежа, а подтверждение — от кривого кода в изоляции. Нужны обе.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →