6 действий ИИ-агента, которые нельзя одобрять заранее

Список разрешённых инструментов пишется в спешке: надоело жать «да» на каждый шаг — и ты разрешаешь всё подряд.
Проблема в том, что этот список читается один раз, а работает потом молча. Вот шесть пунктов, которые в него попадать не должны — с объяснением, что именно ломается в каждом.
Правило отбора одно: сюда попало то, что нельзя откатить за минуту. Всё остальное агент пусть делает сам, иначе смысла в нём нет — подробнее в разборе human-in-the-loop.
1. Удаление чего угодно
rm -rf, DROP TABLE, удаление ветки, очистка бакета.
Опасно не то, что агент решит «удалю-ка всё». Опасно, что он удалит не то, что назвал: в команде маска, под маску попало лишнее, а в объяснении к вызову было написано «удаляю временные файлы».
Ловушка: удаление часто выглядит как техническая мелочь внутри большой задачи — «почищу перед сборкой». Именно поэтому в зрелых SDK удаление по критическим путям не одобряется автоматически ни в каком режиме, даже в самом разрешающем. Копируй это правило себе.
2. Деньги
Платёж, возврат, оформление подписки, покупка домена.
Тут беда даже не в решении, а в повторе. Сеть моргнула, ответ потерялся — агент честно повторяет запрос, и клиент платит дважды. Без ключа идемпотентности сервер не может отличить повтор от новой покупки (как это чинится — в гайде про повторы запросов).
Ловушка: тестовый ключ в проде выглядит точно так же, как боевой, — до момента, когда деньги уходят по-настоящему.
3. Всё, что уходит наружу
Письмо, сообщение в чат, комментарий в issue, пост.
Отправленное не отзывается. И масштаб тут не ограничен здравым смыслом: «разошли клиентам письмо» на базе в 20 тысяч контактов — это 20 тысяч писем за минуту, а не «одно письмо, посмотрим, как выйдет».
Ловушка: агент рассылает по данным, которые сам же нашёл. Если в базу попал мусор или чужой адрес — уедет и туда. И отдельно: текст письма мог быть подсказан данными, которые агент прочитал по дороге, — это классическая инъекция в промпт.
4. Доступы и ключи
Выдать токен, поменять права, открыть бакет наружу, добавить пользователя в проект.
Самый коварный пункт, потому что выглядит как решение проблемы. Агент упёрся в 403, честно рассудил «не хватает прав» и расширил их. Задача поехала дальше, все довольны, а бакет теперь публичный.
Ловушка: последствие не видно сразу. Удаление ты заметишь сегодня, лишние права — когда их найдёт кто-то другой.
5. Запись в боевую базу
Миграция, UPDATE без WHERE, ручная правка «одной строчки».
Классика: UPDATE users SET plan = 'free' без условия обновляет все строки. Секунда — и у всех пользователей сброшен тариф.
Ловушка: многие думают, что их спасёт реплика. Не спасёт: реплика повторит эту же команду за доли секунды, она про «сервер упал», а не про «я стёр не то». Спасает только бэкап, к которому можно откатиться на момент до ошибки — разбор разницы тут.
6. Выкладка и переписывание истории
Деплой в прод, git push --force, публикация релиза в сторе.
git push --force стирает чужие коммиты в общей ветке — то, что нельзя вернуть через «отмену», потому что у тебя этих коммитов и не было. Релиз в сторе не откатывается в принципе: можно только выпустить новый.
Ловушка: выкладка часто идёт последним шагом длинной задачи, когда ты уже проверил всё предыдущее и жмёшь «да» на автомате.
Как это включить, а не просто прочитать
Здоровая конфигурация — не «запретить опасное», а наоборот: разрешить безобидное, остальное спрашивать. В том же Claude Agent SDK это буквально пара строк:
const options = {
allowedTools: ["Read", "Glob", "Grep"],
permissionMode: "dontAsk",
};
Читать — можно, всё остальное не проходит молча. И одна деталь, о которой забывают: разрешать инструмент целиком (Bash) — значит разрешить и rm. Пиши правила точечно, вида Bash(ls *).
А если агент работает ночью, без меня?
Тогда у него не должно быть ни одного пункта из этих шести. Ночной агент готовит: собирает черновик, ветку, отчёт, план миграции. Утром ты смотришь и жмёшь одну кнопку. Это и есть нормальный агентный сценарий — не «сделал всё сам», а «сделал всё, кроме необратимого».
Почему нельзя просто запретить агенту вредить в промпте?
Промпт — это просьба, а не стена. Модель может её неверно понять, а данные по дороге — переубедить. Ограничения работают только снаружи модели: песочница для среды, права доступа для инструментов, подтверждение для необратимого.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





