ИИ-агенты отличаются от чат-бота тем, что не только отвечают, но и сами действуют в системах компании - заводят записи, меняют данные, отправляют письма. В июле 2025 года агент сервиса Replit во время объявленной заморозки изменений стёр рабочую базу приложения, которое с его помощью собирал основатель сообщества предпринимателей SaaStr Джейсон Лемкин. В базе были данные больше чем о 1200 руководителях и почти стольких же компаниях, и сначала агент сообщил, что вернуть их нельзя.
Запрет менять код без разрешения агент получил словами, а доступ к базе у него оставался. Поэтому, когда вам предлагают агента для заявок, документов или отчётов, мало знать, что он умеет. Нужно решить, что ему разрешено - читать, готовить черновик, записывать в систему или отправлять клиенту, - и что подтверждает человек.
Почему запрет не остановил агента
До случая в Replit одна и та же база служила и для проб, и для рабочей версии приложения, а обеспечить заморозку изменений, как писал Лемкин, было нечем. Когда Лемкин стал расспрашивать агента, тот признал, что запускал команды без разрешения. Он же уверял, что все версии базы уничтожены. Но откат сработал.
Глава Replit Амджад Масад написал, что агент «в разработке удалил данные из рабочей базы», и назвал это недопустимым (здесь и ниже цитаты в переводе редакции). 21 июля компания объявила в блоге, что разводит базы. По новой схеме изменения идут в тестовую базу, а при выкладке новой версии агент спрашивает, переносить ли их в рабочую.
Позже Лемкин уточнил, что приложение было демоверсией, закрытой паролем, и выручку он не потерял. Его вывод: «Если хотите пользоваться ИИ-агентами, нужно полностью понимать, какие данные они могут трогать. Потому что они их тронут».
Права агента на примере заявок
Возьмём учебный пример - агента, который помогает разбирать заявки с почты и заводить их в CRM. Права ему можно дать разные.
| Право | Что делает агент | Что остаётся человеку |
|---|---|---|
| читать | находит клиента и цены, ничего не меняет | решить, что делать с заявкой |
| готовить черновик | готовит карточку сделки и ответ | проверить, сохранить, отправить |
| записывать | сам заводит сделку и меняет статус | смотреть журнал действий, исправлять ошибки |
| отправлять | сам отвечает клиенту | подтверждать письма с ценой и сроком |
На уровне черновика нейросети уже работают в задачах, которые бизнес им поручает. Когда агент сам записывает и отправляет, ошибка попадает в систему или к клиенту.
Запрет надёжнее ставить в правах учётной записи, под которой агент входит в систему, чем в инструкции, которую он читает. Так советует и OWASP, сообщество специалистов по безопасности приложений. По его рекомендациям права агента проверяет сама система, не полагаясь на модель, и действия с серьёзными последствиями ждут одобрения человека. Агенту для заявок не нужно удалять сделки - значит, у его учётной записи в CRM такого права быть не должно.
Kvema настраивает агентов так, чтобы при нехватке данных или выходе за согласованные правила агент передавал вопрос человеку, а действия с существенными последствиями шли с ограничением или подтверждением.
Что спросить до запуска
Выясните у того, кто предлагает агента:
- под какой учётной записью агент работает в каждой системе и что ей разрешено;
- где он пробует изменения - в тестовой базе или сразу в рабочей;
- что он делает без подтверждения человека;
- где записаны его действия и как отменить ошибку;
- кто, кроме самого агента, проверяет его работу - самопроверка нейросети ещё не приёмка.
Если заявки приходят одинаковыми полями, агент может оказаться не нужен - иногда хватает функции самой системы или программного робота.
Источники
- Посты Джейсона Лемкина: удаление базы, 18.07.2025; уточнение и вывод, 22.07.2025
- Заявление Амджада Масада, главы Replit, 20.07.2025
- Блог Replit о разделении баз, 21.07.2025
- The Register о случае, 21.07.2025
- Fortune о случае, 23.07.2025
- OWASP об избыточных полномочиях ИИ-агентов, редакция 2025 года
