Агенты

6 действий ИИ-агента, которые нельзя одобрять заранее

Иллюстрация: шесть рычагов, пять свободны, один под замком

Список разрешённых инструментов пишется в спешке: надоело жать «да» на каждый шаг — и ты разрешаешь всё подряд.

Проблема в том, что этот список читается один раз, а работает потом молча. Вот шесть пунктов, которые в него попадать не должны — с объяснением, что именно ломается в каждом.

Правило отбора одно: сюда попало то, что нельзя откатить за минуту. Всё остальное агент пусть делает сам, иначе смысла в нём нет — подробнее в разборе human-in-the-loop.

1. Удаление чего угодно

rm -rf, DROP TABLE, удаление ветки, очистка бакета.

Опасно не то, что агент решит «удалю-ка всё». Опасно, что он удалит не то, что назвал: в команде маска, под маску попало лишнее, а в объяснении к вызову было написано «удаляю временные файлы».

Ловушка: удаление часто выглядит как техническая мелочь внутри большой задачи — «почищу перед сборкой». Именно поэтому в зрелых SDK удаление по критическим путям не одобряется автоматически ни в каком режиме, даже в самом разрешающем. Копируй это правило себе.

2. Деньги

Платёж, возврат, оформление подписки, покупка домена.

Тут беда даже не в решении, а в повторе. Сеть моргнула, ответ потерялся — агент честно повторяет запрос, и клиент платит дважды. Без ключа идемпотентности сервер не может отличить повтор от новой покупки (как это чинится — в гайде про повторы запросов).

Ловушка: тестовый ключ в проде выглядит точно так же, как боевой, — до момента, когда деньги уходят по-настоящему.

3. Всё, что уходит наружу

Письмо, сообщение в чат, комментарий в issue, пост.

Отправленное не отзывается. И масштаб тут не ограничен здравым смыслом: «разошли клиентам письмо» на базе в 20 тысяч контактов — это 20 тысяч писем за минуту, а не «одно письмо, посмотрим, как выйдет».

Ловушка: агент рассылает по данным, которые сам же нашёл. Если в базу попал мусор или чужой адрес — уедет и туда. И отдельно: текст письма мог быть подсказан данными, которые агент прочитал по дороге, — это классическая инъекция в промпт.

4. Доступы и ключи

Выдать токен, поменять права, открыть бакет наружу, добавить пользователя в проект.

Самый коварный пункт, потому что выглядит как решение проблемы. Агент упёрся в 403, честно рассудил «не хватает прав» и расширил их. Задача поехала дальше, все довольны, а бакет теперь публичный.

Ловушка: последствие не видно сразу. Удаление ты заметишь сегодня, лишние права — когда их найдёт кто-то другой.

5. Запись в боевую базу

Миграция, UPDATE без WHERE, ручная правка «одной строчки».

Классика: UPDATE users SET plan = 'free' без условия обновляет все строки. Секунда — и у всех пользователей сброшен тариф.

Ловушка: многие думают, что их спасёт реплика. Не спасёт: реплика повторит эту же команду за доли секунды, она про «сервер упал», а не про «я стёр не то». Спасает только бэкап, к которому можно откатиться на момент до ошибки — разбор разницы тут.

6. Выкладка и переписывание истории

Деплой в прод, git push --force, публикация релиза в сторе.

git push --force стирает чужие коммиты в общей ветке — то, что нельзя вернуть через «отмену», потому что у тебя этих коммитов и не было. Релиз в сторе не откатывается в принципе: можно только выпустить новый.

Ловушка: выкладка часто идёт последним шагом длинной задачи, когда ты уже проверил всё предыдущее и жмёшь «да» на автомате.

Как это включить, а не просто прочитать

Здоровая конфигурация — не «запретить опасное», а наоборот: разрешить безобидное, остальное спрашивать. В том же Claude Agent SDK это буквально пара строк:

const options = {
  allowedTools: ["Read", "Glob", "Grep"],
  permissionMode: "dontAsk",
};

Читать — можно, всё остальное не проходит молча. И одна деталь, о которой забывают: разрешать инструмент целиком (Bash) — значит разрешить и rm. Пиши правила точечно, вида Bash(ls *).

А если агент работает ночью, без меня?

Тогда у него не должно быть ни одного пункта из этих шести. Ночной агент готовит: собирает черновик, ветку, отчёт, план миграции. Утром ты смотришь и жмёшь одну кнопку. Это и есть нормальный агентный сценарий — не «сделал всё сам», а «сделал всё, кроме необратимого».

Почему нельзя просто запретить агенту вредить в промпте?

Промпт — это просьба, а не стена. Модель может её неверно понять, а данные по дороге — переубедить. Ограничения работают только снаружи модели: песочница для среды, права доступа для инструментов, подтверждение для необратимого.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →