Галоўнае

Не зводзьце ацэнку RAG да меркавання «адказ выглядае добра». Спачатку праверце retrieval на эталонных пытаннях, затым grounding і цытаты, пасля — карыснасць адказу, адмову пры недахопе даных і permission-тэсты. Кожны слой павінен мець асобную прычыну памылкі.

У RAG ёсць непрыемная асаблівасць: прыгожы адказ можа хаваць адразу некалькі розных памылак. Патрэбны дакумент не знойдзены, знойдзены не той фрагмент, адказ абапіраецца не на кантэкст, цытата вядзе не туды, а правы доступу парушаныя. Калі ўсё гэта звесці да агульнага ўражання «выглядае нармальна», сістэма будзе дэградаваць незаўважна.

Таму ацэнка RAG павінна раздзяляць retrieval, grounding, citations, usefulness і access control. Такі падыход падтрымліваецца і тэхнічнымі рэкамендацыямі NIST па generative AI, і практыкай production-RAG сістэм.

Спачатку правярайце retrieval

Калі патрэбны дакумент не трапіў у top-k, далейшая ацэнка стылю адказу мала што дасць. На гэтым слаі карысны невялікі эталонны набор пытанняў з чаканымі крыніцамі і ручная праверка трапляння фрагмента.

У карпаратыўных ведах часта важнейшая не abstract relevance, а траплянне ў адзін дазволены і актуальны дакумент. Таму recall і reviewed passage hit звычайна карыснейшыя за асераднёную метрыку па ўсіх тэкстах.

Grounding і citations — асобныя праверкі

Нават правільны retrieved chunk не гарантуе карэктнага адказу. Мадэль можа дадумаць крок, злучыць дзве версіі інструкцыі або ўказаць спасылку на суседнюю, але недастатковую крыніцу. Правярайце сцвярджэнні па пунктах: што менавіта сказана, дзе гэта пацвярджаецца і ці дастаткова доказу для бізнес-задачы.

  • Адказ пацвярджаецца знойдзеным кантэкстам, а не агульнай імавернасцю мадэлі.
  • Цытата вядзе на тую ж крыніцу і той жа сэнсавы фрагмент.
  • Пры недахопе даных сістэма адмаўляецца або яўна пазначае няпоўнасць адказу.

Прыклад з практыкі: кантрольны прагон са 100 пытанняў

У RAG-памочніку ГрДМУ мы выкарыстоўвалі зафіксаваны набор са 100 пытанняў і экспертную рубрыку якасці. У адным датаваным кантрольным прагоне 99 адказаў атрымалі ацэнку «выдатна», адзін — «добра», праблемных адказаў не было.

Гэтыя лічбы апісваюць толькі канкрэтную версію базы, канфігурацыі і набору. Гэта не «99% accuracy» мадэлі і не гарантыя для будучых пытанняў. Карысны доказ тут — узнаўляльная працэдура: захаваць пытанні, дазволеныя крыніцы, ролі, версіі кампанентаў, ацэнкі і прычыны памылак, а затым паўтарыць прагон пасля змены retrieval, prompt, мадэлі або даных.

  • Не пераносіць вынік аднаго набору на ўсе карыстальніцкія запыты.
  • Публікаваць размеркаванне ацэнак і крытычныя памылкі, а не толькі сярэдняе.
  • Дадаваць новыя рэальныя памылкі ў versioned regression-набор.

Крытычная памылка не павінна растварацца ў сярэднім score

Для production-RAG карысна мець release gate: уцечка праз парушэнне доступу, няправільная цытата ў адчувальным працэсе або ўпэўнены адказ без доказаў павінны блакаваць рэліз незалежна ад агульнага сярэдняга бала. Менавіта так ацэнка застаецца інжынерным інструментам, а не вітрынай для дэма.

Параўнанне

Мінімальная карта ацэнкі RAG

СлойПытаннеПрактычны сігнал
RetrievalЦі знойдзеная патрэбная крыніца?Recall@k або ручная праверка трапляння
GroundingЦі пацвярджаецца адказ кантэкстам?Pass/fail па сцвярджэннях
CitationЦі вядзе спасылка да патрэбнага фрагмента?Дакладнасць і паўната цытат
UsefulnessЦі вырашае адказ задачу карыстальніка?Рубрыка або парнае параўнанне
AccessЦі не трапіла забароненая крыніца?Permission test па ролях

Што праверыць

Як сабраць кантрольны набор

  1. Уключыць частыя, рэдкія, неадназначныя і састарэлыя пытанні.
  2. Для кожнага пытання ўказаць дапушчальныя крыніцы і чаканую адмову.
  3. Асобна дадаць запыты без адказу ў базе ведаў.
  4. Праверыць ролі з рознымі правамі на адным і тым жа пытанні.
  5. Паўтараць набор пасля змены chunking, індэкса, мадэлі або prompt.

Як мы падыходзім да задачы

CENTURY спачатку выпраўляе retrieval і правы доступу. Наладка стылю адказу не кампенсуе няправільны дакумент, а агульны score не павінен хаваць уцечку праз парушэнне правоў або памылковую цытату.

Крыніцы і спасылкі