Галоўнае

Збярыце набор рэальных задач з улікам версій, загадзя апішыце дапушчальны вынік і забароненыя дзеянні, а затым правярайце outcome, trajectory і side effects. Крытычнае парушэнне правоў не павінна кампенсавацца прыгожым сярэднім score.

Пяць удалых размоў у дэма не даказваюць, што агент гатовы да працы. У дэма звычайна задаюць чаканыя пытанні, інтэграцыі адказваюць, дакументы свежыя, а чалавек побач заўважае дзіўнасць раней за карыстальніка.

Eval патрэбны, каб замяніць уражанне паўтаральнай праверкай. Ён адказвае не на пытанне «мадэль разумная?», а на пытанне «сістэма выконвае наш працэс з дапушчальнай якасцю, рызыкай і коштам?»

Ацэньвайце вынік, шлях і пабочныя эфекты

У звычайнага чатбота часта правяраюць тэкст адказу. У агента гэтага мала. Ён можа напісаць ідэальнае паведамленне пасля няправільнай змены ў CRM.

Мінімум тры слаі:

  1. Outcome: задача сапраўды завершана або карэктна перададзена чалавеку.
  2. Trajectory: выбраны дапушчальныя інструменты, парадак і параметры.
  3. Side effects: не створана дубляў, не закрануты чужыя даныя, не выканана лішніх дзеянняў.

Часам правільных траекторый некалькі. Таму не варта жорстка патрабаваць адзіны шлях, калі важныя вынік і абмежаванні. Але для плацяжу або выдалення дапушчальная паслядоўнасць можа быць строга вызначана.

Збярыце кантрольны набор з рэальнай працы

Пачніце не з тысячы штучных пытанняў, а з 50–100 рэпрэзентатыўных задач. Уключыце:

  • частыя і простыя выпадкі;
  • рэдкія, але дарагія памылкі;
  • няпоўныя і супярэчлівыя даныя;
  • недаступную інтэграцыю;
  • паўтор аднаго і таго ж запыту;
  • запыт карыстальніка без патрэбных правоў;
  • спробу прымусіць агента ігнараваць правілы;
  • сітуацыю, дзе адзіны правільны вынік — адмова або handoff.

Для кожнай задачы зафіксуйце дапушчальны вынік, забароненыя дзеянні, неабходныя доказы і ліміт кошту/часу.

Не змешвайце ўсе памылкі ў адзін score

Сярэднія 92 балы могуць хаваць адзін перавод грошай не таму атрымальніку. Раздзяліце метрыкі:

СлойШто вымяраць
Выкананнеtask success, карэктны канчатковы статус
Інструментыправільнасць выбару і параметраў tool call
Бяспекапарушэнні правоў, лішнія дзеянні, уцечкі
Handoffабавязковыя і памылковыя перадачы чалавеку
Надзейнасцьпаўторы, таймаўты, аднаўленне пасля збою
Досведзразумеласць адказу і намаганні карыстальніка
Эканомікатокены, выклікі знешніх API, час, кошт задачы

Крытычныя парушэнні павінны быць асобным release gate. Іх нельга кампенсаваць прыгожым стылем у іншых прыкладах.

Правярайце сістэму, а не толькі мадэль

Anthropic асобна падкрэслівае, што агентныя eval складанейшыя за звычайныя: дыялог складаецца з многіх крокаў, агент змяняе стан і выкарыстоўвае інструменты. Памылка можа знаходзіцца ў апісанні інструмента, палітыцы, API, стане чаргі або даных — а не ў самой мадэлі.

Таму ў трасіроўцы патрэбныя версія мадэлі, prompt і policy, уваходныя даныя, tool calls, адказы інтэграцый і канчатковы стан. Без версій рэгрэсію немагчыма ўзнавіць.

Дадайце незалежную праверку выніку

LLM-as-a-judge карысны для сэнсу і якасці тэксту, але не павінен аднаасобна пацвярджаць правы доступу або факт знешняй аперацыі. Дзе магчыма, выкарыстоўвайце дэтэрмінаваны oracle: запіс існуе, сума супадае, забаронены дакумент не здабыты, ліст застаўся чарнавіком, задача з'явілася ў чарзе адзін раз.

Для суб'ектыўных крытэрыяў задайце кароткую шкалу ацэнкі і перыядычна звярайце аўтаматычную ацэнку з чалавекам.

Асобна праверце негатыўныя сцэнарыі

Пазітыўны тэст пытаецца: «Ці зможа агент стварыць задачу?» Негатыўны: «Ці зможа ён стварыць яе ад імя іншага карыстальніка, двойчы, без абавязковага поля або пасля заканчэння тэрміну пацвярджэння?»

Патрэбныя праверкі:

  • prompt injection у лісце або дакуменце;
  • падмена ідэнтыфікатара рэсурсу;
  • празмерна вялікі ўвод;
  • сакрэт у логу або паведамленні пра памылку;
  • невядомы статус знешняга API;
  • паўтор пасля таймаўту;
  • перавышэнне бюджэту крокаў;
  • знікненне аператара пасля handoff.

Зафіксуйце baseline і запускайце рэгрэсію

Eval мае сэнс, калі запускаецца зноў пасля змены мадэлі, промпта, схемы інструмента, базы ведаў або палітыкі. Параўноўвайце не толькі агульны працэнт поспеху, але і катэгорыі памылак, кошт і latency.

У праекце RAG-памочніка ГрДМУ кантрольны прагон пасля выпраўленняў даў 99 адказаў з ацэнкай «выдатна», адзін — «добра», праблемных — 0 са 100 пытанняў. Гэта вынік канкрэтнага набору і версіі, а не ўніверсальная «дакладнасць 99%» або незалежны тэст на новых пытаннях. Для інтэрпрэтацыі патрэбныя дата, шкала ацэнкі, склад крыніц і паўтор пасля зменаў.

Калі агент гатовы да абмежаванага запуску

  • Усе крытычныя сцэнарыі праходзяць без парушэння правоў і лішніх дзеянняў.
  • Для важных адмоў і handoff няма страчаных задач.
  • Паўторная спроба не стварае дубль.
  • Устаноўлены бюджэты часу, крокаў і кошту.
  • Памылку можна ўзнавіць паводле трасіроўкі.
  • Ёсць уладальнік метрык і расклад паўторнага eval.
  • Пілот абмежаваны групай карыстальнікаў і наборам інструментаў са зваротнымі дзеяннямі.

Першы production — не фінальны экзамен, а пачатак назірання. Але без кантрольнага набору назіранні не будзе з чым параўноўваць.

Параўнанне

Слаі ацэнкі AI-агента

СлойПытаннеСігнал
OutcomeЗадача сапраўды завершана?Карэктны канчатковы статус
TrajectoryЦі дапушчальныя інструменты і параметры?Праверка трасіроўкі
SafetyЦі не парушаны правы?Pass/fail release gate
OperationsСістэма вытрымлівае збой?Паўторы, timeout, recovery

Што праверыць

Што ўключыць у кантрольны набор

  1. Частыя, рэдкія і дарагія памылкі.
  2. Няпоўныя, супярэчлівыя і састарэлыя даныя.
  3. Пытанні без адказу і чаканы handoff.
  4. Розныя ролі карыстальніка і спробы абысці правілы.
  5. Паўтор пасля timeout, ліміты бюджэту і недаступны API.

Як мы падыходзім да задачы

У кейсе RAG-памочніка ГрДМУ вынік 99/100 адносіцца да аднаго кантрольнага прагону. CENTURY фіксуе версію набору і паўтарае яго пасля зменаў мадэлі, prompt, інструментаў або базы ведаў.

Крыніцы і спасылкі