Галоўнае
Збярыце набор рэальных задач з улікам версій, загадзя апішыце дапушчальны вынік і забароненыя дзеянні, а затым правярайце outcome, trajectory і side effects. Крытычнае парушэнне правоў не павінна кампенсавацца прыгожым сярэднім score.
Пяць удалых размоў у дэма не даказваюць, што агент гатовы да працы. У дэма звычайна задаюць чаканыя пытанні, інтэграцыі адказваюць, дакументы свежыя, а чалавек побач заўважае дзіўнасць раней за карыстальніка.
Eval патрэбны, каб замяніць уражанне паўтаральнай праверкай. Ён адказвае не на пытанне «мадэль разумная?», а на пытанне «сістэма выконвае наш працэс з дапушчальнай якасцю, рызыкай і коштам?»
Ацэньвайце вынік, шлях і пабочныя эфекты
У звычайнага чатбота часта правяраюць тэкст адказу. У агента гэтага мала. Ён можа напісаць ідэальнае паведамленне пасля няправільнай змены ў CRM.
Мінімум тры слаі:
- Outcome: задача сапраўды завершана або карэктна перададзена чалавеку.
- Trajectory: выбраны дапушчальныя інструменты, парадак і параметры.
- Side effects: не створана дубляў, не закрануты чужыя даныя, не выканана лішніх дзеянняў.
Часам правільных траекторый некалькі. Таму не варта жорстка патрабаваць адзіны шлях, калі важныя вынік і абмежаванні. Але для плацяжу або выдалення дапушчальная паслядоўнасць можа быць строга вызначана.
Збярыце кантрольны набор з рэальнай працы
Пачніце не з тысячы штучных пытанняў, а з 50–100 рэпрэзентатыўных задач. Уключыце:
- частыя і простыя выпадкі;
- рэдкія, але дарагія памылкі;
- няпоўныя і супярэчлівыя даныя;
- недаступную інтэграцыю;
- паўтор аднаго і таго ж запыту;
- запыт карыстальніка без патрэбных правоў;
- спробу прымусіць агента ігнараваць правілы;
- сітуацыю, дзе адзіны правільны вынік — адмова або handoff.
Для кожнай задачы зафіксуйце дапушчальны вынік, забароненыя дзеянні, неабходныя доказы і ліміт кошту/часу.
Не змешвайце ўсе памылкі ў адзін score
Сярэднія 92 балы могуць хаваць адзін перавод грошай не таму атрымальніку. Раздзяліце метрыкі:
| Слой | Што вымяраць |
|---|---|
| Выкананне | task success, карэктны канчатковы статус |
| Інструменты | правільнасць выбару і параметраў tool call |
| Бяспека | парушэнні правоў, лішнія дзеянні, уцечкі |
| Handoff | абавязковыя і памылковыя перадачы чалавеку |
| Надзейнасць | паўторы, таймаўты, аднаўленне пасля збою |
| Досвед | зразумеласць адказу і намаганні карыстальніка |
| Эканоміка | токены, выклікі знешніх API, час, кошт задачы |
Крытычныя парушэнні павінны быць асобным release gate. Іх нельга кампенсаваць прыгожым стылем у іншых прыкладах.
Правярайце сістэму, а не толькі мадэль
Anthropic асобна падкрэслівае, што агентныя eval складанейшыя за звычайныя: дыялог складаецца з многіх крокаў, агент змяняе стан і выкарыстоўвае інструменты. Памылка можа знаходзіцца ў апісанні інструмента, палітыцы, API, стане чаргі або даных — а не ў самой мадэлі.
Таму ў трасіроўцы патрэбныя версія мадэлі, prompt і policy, уваходныя даныя, tool calls, адказы інтэграцый і канчатковы стан. Без версій рэгрэсію немагчыма ўзнавіць.
Дадайце незалежную праверку выніку
LLM-as-a-judge карысны для сэнсу і якасці тэксту, але не павінен аднаасобна пацвярджаць правы доступу або факт знешняй аперацыі. Дзе магчыма, выкарыстоўвайце дэтэрмінаваны oracle: запіс існуе, сума супадае, забаронены дакумент не здабыты, ліст застаўся чарнавіком, задача з'явілася ў чарзе адзін раз.
Для суб'ектыўных крытэрыяў задайце кароткую шкалу ацэнкі і перыядычна звярайце аўтаматычную ацэнку з чалавекам.
Асобна праверце негатыўныя сцэнарыі
Пазітыўны тэст пытаецца: «Ці зможа агент стварыць задачу?» Негатыўны: «Ці зможа ён стварыць яе ад імя іншага карыстальніка, двойчы, без абавязковага поля або пасля заканчэння тэрміну пацвярджэння?»
Патрэбныя праверкі:
- prompt injection у лісце або дакуменце;
- падмена ідэнтыфікатара рэсурсу;
- празмерна вялікі ўвод;
- сакрэт у логу або паведамленні пра памылку;
- невядомы статус знешняга API;
- паўтор пасля таймаўту;
- перавышэнне бюджэту крокаў;
- знікненне аператара пасля handoff.
Зафіксуйце baseline і запускайце рэгрэсію
Eval мае сэнс, калі запускаецца зноў пасля змены мадэлі, промпта, схемы інструмента, базы ведаў або палітыкі. Параўноўвайце не толькі агульны працэнт поспеху, але і катэгорыі памылак, кошт і latency.
У праекце RAG-памочніка ГрДМУ кантрольны прагон пасля выпраўленняў даў 99 адказаў з ацэнкай «выдатна», адзін — «добра», праблемных — 0 са 100 пытанняў. Гэта вынік канкрэтнага набору і версіі, а не ўніверсальная «дакладнасць 99%» або незалежны тэст на новых пытаннях. Для інтэрпрэтацыі патрэбныя дата, шкала ацэнкі, склад крыніц і паўтор пасля зменаў.
Калі агент гатовы да абмежаванага запуску
- Усе крытычныя сцэнарыі праходзяць без парушэння правоў і лішніх дзеянняў.
- Для важных адмоў і handoff няма страчаных задач.
- Паўторная спроба не стварае дубль.
- Устаноўлены бюджэты часу, крокаў і кошту.
- Памылку можна ўзнавіць паводле трасіроўкі.
- Ёсць уладальнік метрык і расклад паўторнага eval.
- Пілот абмежаваны групай карыстальнікаў і наборам інструментаў са зваротнымі дзеяннямі.
Першы production — не фінальны экзамен, а пачатак назірання. Але без кантрольнага набору назіранні не будзе з чым параўноўваць.
Параўнанне
Слаі ацэнкі AI-агента
| Слой | Пытанне | Сігнал |
|---|---|---|
| Outcome | Задача сапраўды завершана? | Карэктны канчатковы статус |
| Trajectory | Ці дапушчальныя інструменты і параметры? | Праверка трасіроўкі |
| Safety | Ці не парушаны правы? | Pass/fail release gate |
| Operations | Сістэма вытрымлівае збой? | Паўторы, timeout, recovery |
Што праверыць
Што ўключыць у кантрольны набор
- Частыя, рэдкія і дарагія памылкі.
- Няпоўныя, супярэчлівыя і састарэлыя даныя.
- Пытанні без адказу і чаканы handoff.
- Розныя ролі карыстальніка і спробы абысці правілы.
- Паўтор пасля timeout, ліміты бюджэту і недаступны API.
Як мы падыходзім да задачы
У кейсе RAG-памочніка ГрДМУ вынік 99/100 адносіцца да аднаго кантрольнага прагону. CENTURY фіксуе версію набору і паўтарае яго пасля зменаў мадэлі, prompt, інструментаў або базы ведаў.