Галоўнае
Не зводзьце ацэнку RAG да меркавання «адказ выглядае добра». Спачатку праверце retrieval на эталонных пытаннях, затым grounding і цытаты, пасля — карыснасць адказу, адмову пры недахопе даных і permission-тэсты. Кожны слой павінен мець асобную прычыну памылкі.
У RAG ёсць непрыемная асаблівасць: прыгожы адказ можа хаваць адразу некалькі розных памылак. Патрэбны дакумент не знойдзены, знойдзены не той фрагмент, адказ абапіраецца не на кантэкст, цытата вядзе не туды, а правы доступу парушаныя. Калі ўсё гэта звесці да агульнага ўражання «выглядае нармальна», сістэма будзе дэградаваць незаўважна.
Таму ацэнка RAG павінна раздзяляць retrieval, grounding, citations, usefulness і access control. Такі падыход падтрымліваецца і тэхнічнымі рэкамендацыямі NIST па generative AI, і практыкай production-RAG сістэм.
Спачатку правярайце retrieval
Калі патрэбны дакумент не трапіў у top-k, далейшая ацэнка стылю адказу мала што дасць. На гэтым слаі карысны невялікі эталонны набор пытанняў з чаканымі крыніцамі і ручная праверка трапляння фрагмента.
У карпаратыўных ведах часта важнейшая не abstract relevance, а траплянне ў адзін дазволены і актуальны дакумент. Таму recall і reviewed passage hit звычайна карыснейшыя за асераднёную метрыку па ўсіх тэкстах.
Grounding і citations — асобныя праверкі
Нават правільны retrieved chunk не гарантуе карэктнага адказу. Мадэль можа дадумаць крок, злучыць дзве версіі інструкцыі або ўказаць спасылку на суседнюю, але недастатковую крыніцу. Правярайце сцвярджэнні па пунктах: што менавіта сказана, дзе гэта пацвярджаецца і ці дастаткова доказу для бізнес-задачы.
- Адказ пацвярджаецца знойдзеным кантэкстам, а не агульнай імавернасцю мадэлі.
- Цытата вядзе на тую ж крыніцу і той жа сэнсавы фрагмент.
- Пры недахопе даных сістэма адмаўляецца або яўна пазначае няпоўнасць адказу.
Прыклад з практыкі: кантрольны прагон са 100 пытанняў
У RAG-памочніку ГрДМУ мы выкарыстоўвалі зафіксаваны набор са 100 пытанняў і экспертную рубрыку якасці. У адным датаваным кантрольным прагоне 99 адказаў атрымалі ацэнку «выдатна», адзін — «добра», праблемных адказаў не было.
Гэтыя лічбы апісваюць толькі канкрэтную версію базы, канфігурацыі і набору. Гэта не «99% accuracy» мадэлі і не гарантыя для будучых пытанняў. Карысны доказ тут — узнаўляльная працэдура: захаваць пытанні, дазволеныя крыніцы, ролі, версіі кампанентаў, ацэнкі і прычыны памылак, а затым паўтарыць прагон пасля змены retrieval, prompt, мадэлі або даных.
- Не пераносіць вынік аднаго набору на ўсе карыстальніцкія запыты.
- Публікаваць размеркаванне ацэнак і крытычныя памылкі, а не толькі сярэдняе.
- Дадаваць новыя рэальныя памылкі ў versioned regression-набор.
Крытычная памылка не павінна растварацца ў сярэднім score
Для production-RAG карысна мець release gate: уцечка праз парушэнне доступу, няправільная цытата ў адчувальным працэсе або ўпэўнены адказ без доказаў павінны блакаваць рэліз незалежна ад агульнага сярэдняга бала. Менавіта так ацэнка застаецца інжынерным інструментам, а не вітрынай для дэма.
Параўнанне
Мінімальная карта ацэнкі RAG
| Слой | Пытанне | Практычны сігнал |
|---|---|---|
| Retrieval | Ці знойдзеная патрэбная крыніца? | Recall@k або ручная праверка трапляння |
| Grounding | Ці пацвярджаецца адказ кантэкстам? | Pass/fail па сцвярджэннях |
| Citation | Ці вядзе спасылка да патрэбнага фрагмента? | Дакладнасць і паўната цытат |
| Usefulness | Ці вырашае адказ задачу карыстальніка? | Рубрыка або парнае параўнанне |
| Access | Ці не трапіла забароненая крыніца? | Permission test па ролях |
Што праверыць
Як сабраць кантрольны набор
- Уключыць частыя, рэдкія, неадназначныя і састарэлыя пытанні.
- Для кожнага пытання ўказаць дапушчальныя крыніцы і чаканую адмову.
- Асобна дадаць запыты без адказу ў базе ведаў.
- Праверыць ролі з рознымі правамі на адным і тым жа пытанні.
- Паўтараць набор пасля змены chunking, індэкса, мадэлі або prompt.
Як мы падыходзім да задачы
CENTURY спачатку выпраўляе retrieval і правы доступу. Наладка стылю адказу не кампенсуе няправільны дакумент, а агульны score не павінен хаваць уцечку праз парушэнне правоў або памылковую цытату.