Галоўнае
Падключайце да агента толькі канкрэтныя дзеянні з абмежаванымі параметрамі. Чытанне, запіс, адпраўку і выдаленне раздзяляйце; рызыкоўныя аперацыі выконвайце праз асобнае пацвярджэнне чалавекам, а паўторны выклік не павінен ствараць паўторны знешні эфект.
У AI-агента ёсць непрыемны момант сталення. Пакуль ён адказвае ў тэставым чаце, памылка выглядае смешна. Як толькі яму даюць пошту, CRM, каляндар або доступ да файлаў, тая ж памылка становіцца адпраўленым лістом, сапсаванай карткай кліента або выдаленым дакументам.
Таму бяспека агента пачынаецца не з промпта «будзь асцярожны». Яна пачынаецца з архітэктуры, у якой мадэль фізічна не можа зрабіць больш, чым ёй дазволілі.
Спачатку вырашыце, ці патрэбны тут агент
Калі працэс можна надзейна апісаць звычайным workflow, так і рабіце. Мадэль не абавязана выбіраць наступны крок, калі гэты крок вядомы загадзя. Напрыклад, захаваць заяўку, праверыць абавязковыя палі і паведаміць менеджару — гэта нармальны дэтэрмінаваны ланцужок. Агент патрэбны там, дзе парадак дзеянняў залежыць ад кантэксту: разабраць запыт, знайсці даныя ў некалькіх сістэмах, выбраць адпаведны сцэнарый і апрацаваць выключэнне.
Практычнае правіла простае: мадэль можа прапаноўваць рашэнне, а крытычны пераход выконвае звычайны код з яўнымі праверкамі.
Інвентарызацыя інструментаў важнейшая за сістэмны промпт
Да падключэння мадэлі выпішыце ўсе даступныя дзеянні. Не «праца з CRM», а асобна:
- прачытаць картку кліента;
- знайсці здзелку;
- дадаць унутраную нататку;
- змяніць стадыю;
- адправіць паведамленне;
- выдаліць запіс.
У кожнага інструмента павінны быць зразумелыя ўваходныя параметры, абмежаваны вынік і ўласная палітыка доступу. Універсальны інструмент накшталт execute_any_sql або call_any_url эканоміць пару дзён распрацоўкі, а потым ператварае любую памылку разважання ў інцыдэнт.
OWASP называе гэтую праблему excessive agency: сістэме даюць лішнія функцыі, лішнія паўнамоцтвы або занадта шмат аўтаноміі. Нармальнае рашэнне — не яшчэ адзін абзац у інструкцыі мадэлі, а менш даступных функцый і правоў.
Падзяліце дзеянні паводле рызыкі
Мы выкарыстоўваем чатыры практычныя ўзроўні.
| Узровень | Прыклад | Як выконваць |
|---|---|---|
| Нізкі | Пошук дакумента, чытанне статусу | Аўтаматычна, з журналам |
| Сярэдні | Чарнавік ліста, унутраная нататка | Аўтаматычна, але без знешняй адпраўкі |
| Высокі | Адпраўка кліенту, змена статусу здзелкі | Пасля яўнага пацвярджэння чалавекам |
| Крытычны | Плацеж, выдаленне, змена правоў | Асобны абаронены працэс; часта ўвогуле па-за агентам |
Рызыка залежыць не толькі ад назвы дзеяння. Ліст самому сабе і масавая рассылка — розныя інструменты. Чытанне публічнага каталога і чытанне кадравых дакументаў — таксама.
Не давайце агенту агульны сэрвісны ўліковы запіс
Бяспечней выконваць дзеянне ў кантэксце канкрэтнага карыстальніка і яго ролі. Калі менеджар не бачыць фінансавую справаздачу, агент менеджара таксама не павінен яе бачыць. Калі супрацоўнік не можа змяняць правы доступу, мадэль не павінна атрымліваць гэтае права праз «тэхнічны» ўліковы запіс.
Гэта адпавядае zero trust: знаходжанне ўнутры карпаратыўнай сеткі само па сабе не стварае даверу. У кожным запыце важныя ідэнтычнасць, роля, рэсурс і канкрэтнае дзеянне.
Пацвярджэнне — асобны стан, а не пытанне ў чаце
Дрэнны approval выглядае так: «Вы ўпэўнены?» — «Так». Праз пяць хвілін незразумела, што менавіта пацвердзіў чалавек і ці не змяніліся параметры.
Добрае пацвярджэнне захоўвае:
- дакладнае дзеянне і мэту;
- канчатковыя параметры, якія будуць адпраўлены;
- чаканы эфект;
- тэрмін дзеяння пацвярджэння;
- карыстальніка, які пацвердзіў;
- ідэнтыфікатар аперацыі для абароны ад паўторнага запуску.
У адной з нашых архітэктурных схем рызыкоўны запуск пераходзіць у асобны стан waiting_for_human. Пасля пацвярджэння выконваецца менавіта захаваны план, а не нанова згенераваная версія. Гэта невялікая дэталь, але яна прыбірае клас памылак «чалавек бачыў адно, мадэль зрабіла іншае».
Абараніцеся ад паўторных дзеянняў
Агенты паўтараюць выклікі: праз таймаўт, сеткавую памылку, паўторную спробу або незразумелы адказ інструмента. Таму знешняя аперацыя павінна быць ідэмпатэнтнай. Адзін submission_id — адна заяўка; адзін payment_intent — адзін плацеж; адзін ключ аперацыі — адна змена.
У API заявак CENTURY выкарыстоўваюцца праверка палёў, абмежаванні памеру запыту і частаты зваротаў, абарона ад паўторнай адпраўкі і бяспечныя паведамленні пра памылкі. Такія механізмы патрэбныя і вакол агента. Пры гэтым межы абароны залежаць ад захоўвання стану і знешняга API: кэш у памяці працэсу не гарантуе аднаразовую дастаўку пасля перазапуску або неадназначнага адказу знешняй сістэмы.
Запісвайце ў журнал не думкі мадэлі, а падзеі, якія можна праверыць
Для разбору інцыдэнту патрэбныя факты:
- хто ініцыяваў задачу;
- якая версія агента і палітыкі працавала;
- якія інструменты былі выкліканы;
- якія параметры прайшлі праверку;
- што пацвердзіў чалавек;
- які знешні вынік атрыманы;
- ці быў адкат.
Логі не павінны ператварацца ў звалку персанальных даных і сакрэтаў. Токены, паролі і поўны змест закрытых дакументаў там не патрэбныя. Патрэбныя ідэнтыфікатары, тып падзеі, рашэнне палітыкі і спасылка на абароненую крыніцу доказаў.
Прадумайце спыненне да першага запуску
У агента павінны быць stop conditions: ліміт крокаў, часу і кошту; спыненне пасля памылкі, якая паўтараецца; забарона на змену мэты; перадача чалавеку, калі дзеянне не пацверджана або сістэма адказвае неадназначна.
І яшчэ — rollback. Для зменаў файлаў або кода мы аддаём перавагу ізаляванай працоўнай прасторы і кантрольнай кропцы перад рызыкоўным крокам. Для CRM гэта можа быць журнал папярэдніх значэнняў. Для адпраўленага ліста сапраўднага rollback няма, таму адпраўка і патрабуе больш строгага gate.
Мінімальны checklist перад production
- У агента няма ўніверсальных інструментаў і агульных адміністратарскіх правоў.
- Чытанне, запіс, адпраўка і выдаленне раздзелены.
- Дзеянні з высокай рызыкай патрабуюць змястоўнага пацвярджэння.
- Паўторны выклік не стварае паўторны знешні эфект.
- Усе рашэнні палітыкі і дзеянні трапляюць у аўдыт.
- Ёсць ліміты крокаў, часу, кошту і паўтораў.
- Негатыўныя сцэнарыі правераны да падключэння рэальных даных.
- Для зваротных аперацый існуе правераны rollback.
Калі на палову пунктаў адказ «дададзім потым», агент пакуль гатовы толькі да дэма. Гэта нармальна. Ненармальна — падаваць дэма як кіраваную працоўную сістэму.
Параўнанне
Узроўні рызыкі для інструментаў
| Узровень | Прыклад | Правіла |
|---|---|---|
| Нізкі | Пошук дакумента або статусу | Аўтаматычна, з журналам |
| Сярэдні | Чарнавік ліста або ўнутраная нататка | Без знешняй адпраўкі |
| Высокі | Адпраўка кліенту або змена здзелкі | Яўнае пацвярджэнне |
| Крытычны | Плацеж, выдаленне або правы | Асобны абаронены працэс |
Што праверыць
Перад падключэннем рэальных даных
- Прыбраць універсальныя інструменты і агульныя адміністратарскія правы.
- Раздзяліць чытанне, запіс, адпраўку і выдаленне.
- Захоўваць дакладныя параметры пацверджанага дзеяння.
- Зрабіць паўтор знешняй аперацыі ідэмпатэнтным.
- Задаць ліміты крокаў, часу, кошту і паўтораў.
Як мы падыходзім да задачы
У праектах CENTURY агент разглядаецца як кіраваны выканаўца ўнутры працэсу: палітыкі інструментаў, кантэкст карыстальніка, пацвярджэнне і аўдыт знаходзяцца па-за мадэллю і правяраюцца звычайным кодам.