Галоўнае

Для зменлівых карпаратыўных фактаў пачніце з RAG і eval retrieval, grounding, цытат і доступу. Fine-tuning правярайце толькі пасля гэтага — для стабільнага фармату, стылю або паўтаральнай вузкай аперацыі, а не як спосаб захоўваць учарашнія дакументы.

«Хочам навучыць нейрасетку на нашых дакументах» — адна з самых частых фармулёвак на старце. Звычайна за ёй хаваюцца дзве розныя задачы: мадэль павінна ведаць свежыя факты кампаніі і адказваць у патрэбным фармаце. Для першай часцей патрэбны RAG. Для другой часам сапраўды патрэбны fine-tuning.

Калі пераблытаць задачы, атрымаецца дарагая сістэма, якая ўсё роўна не ведае ўчарашні загад і не можа паказаць крыніцу.

Кароткі адказ

RAG знаходзіць рэлевантныя фрагменты ў знешняй базе ведаў і перадае іх мадэлі ў момант адказу. Дакументы можна абнаўляць без перанавучання мадэлі; адказ можна звязаць з крыніцай і правамі карыстальніка.

Fine-tuning змяняе вагі мадэлі на прыкладах. Ён карысны для ўстойлівага фармату, стылю, класіфікацыі, тэрміналогіі або паводзін, якія цяжка задаць інструкцыяй. Гэта дрэнны спосаб пастаянна «заліваць» факты, што змяняюцца.

Гэтыя падыходы не выключаюць адзін аднаго. Часта працоўная сістэма выкарыстоўвае RAG для ведаў, а fine-tuning — толькі калі eval паказвае, што базавая мадэль нестабільна выконвае паўтаральны тып задачы.

Калі выбіраць RAG

RAG падыходзіць, калі:

  • дакументы змяняюцца часцей, чым вы гатовыя перанавучаць мадэль;
  • карыстальніку патрэбныя спасылкі і цытаты;
  • розныя супрацоўнікі маюць розныя правы;
  • важна выдаліць або адклікаць крыніцу;
  • адказ павінен сумленна залежаць ад зацверджанай версіі базы ведаў;
  • трэба зразумець, які дакумент прывёў да памылкі.

Галоўная перавага RAG — кіравальнасць ведаў. Але вектарная база сама па сабе не забяспечвае якасці. Асобна праверце падзел дакументаў, пошук патрэбных фрагментаў, версіі крыніц, фільтры доступу і паводзіны пры адсутнасці адказу. Калі патрэбны фрагмент не трапіў у кантэкст, наладка стылю адказу не выправіць прычыну памылкі.

Калі fine-tuning сапраўды карысны

Разгледзьце fine-tuning, калі ў вас ёсць стабільная задача і якасныя пары «ўваход — правільны выхад»:

  • класіфікацыя зваротаў паводле ўнутранай таксаноміі;
  • строгае запаўненне спецыфічнай структуры;
  • устойлівае прытрымліванне галіновага стылю;
  • выбар вядомага тыпу дзеяння з абмежаванага набору;
  • скарачэнне доўгага prompt пры масавай аднатыпнай нагрузцы.

Але спачатку параўнайце з добрым prompt, некалькімі прыкладамі і дэтэрмінаванай постапрацоўкай. Fine-tuning дадае набор даных, pipeline навучання, версіянаванне, ацэнку і паўторнае навучанне. Часам гэта апраўдана; часам маскіруе слабую пастаноўку задачы.

Чаго fine-tuning не вырашыць

Ён не стварае надзейную базу свежых фактаў. Калі заўтра зменіцца тарыф, палажэнне або склад паслугі, старыя вагі нельга «выдаліць» гэтак жа проста, як дакумент з актыўнага індэкса. Мадэль таксама не атрымлівае аўтаматычна сістэму правоў доступу і правяральную цытату.

Fine-tuning не выпраўляе дрэнныя крыніцы. Калі ў датасеце супярэчнасці і састарэлыя адказы, мадэль вывучыць менавіта іх.

Матрыца рашэння

ПатрабаваннеRAGFine-tuning
Часта абнаўляць фактыМоцны выбарСлабы выбар
Паказваць крыніцуТакСам па сабе — не
Адклікаць дакументКіраванаСкладана
Улічваць правы карыстальнікаПраз retrieval і ACLСам па сабе — не
Стабілізаваць фармат/стыльАбмежаванаМоцны выбар
Навучыць вузкай паўтаральнай аперацыіЧасамЧаста карысны
Растлумачыць прычыну канкрэтнага адказуПа знойдзеных фрагментахАбмежавана

Працоўная паслядоўнасць без лішняй магіі

  1. Збярыце 50–100 рэальных пытанняў і чаканыя крыніцы.
  2. Зрабіце baseline на мадэлі без RAG і fine-tuning.
  3. Дадайце retrieval і асобна вымерайце траплянне патрэбнага дакумента.
  4. Праверце grounding, цытаты, адмову і правы доступу.
  5. Паглядзіце, якія памылкі засталіся.
  6. Толькі калі яны тычацца ўстойлівых паводзін, ацаніце fine-tuning на тым жа наборы.

Так рашэнне прымаецца на падставе памылак, а не моднага слова.

Прыклад гібрыднай архітэктуры

У нашым RAG-праекце для зацверджанай базы ведаў факты дазволена браць толькі з актыўнай версіі індэкса. Dense-пошук дапаўняецца лексічным пошукам, вынікі аб'ядноўваюцца, а адказ абавязаны паказаць крыніцу або адмовіцца. Дыялогавая памяць дапамагае працягваць размову, але не лічыцца крыніцай фактаў.

Калі б гэтаму прадукту спатрэбіўся ўстойлівы фармат класіфікацыі зваротаў, fine-tuning можна было б праверыць асобна. Але навучаць мадэль на кожным новым дакуменце прыёмнай кампаніі было б складаней і менш празрыста, чым абнавіць версіянаваную базу.

Як прыняць рашэнне за адну сустрэчу

Вазьміце тры прыклады, на якіх бягучы AI памыляецца, і спытайце:

  • Памылка праз адсутны або састарэлы факт? Патрэбны retrieval або выпраўленне крыніцы.
  • Патрэбны дакумент знойдзены, але адказ не абапіраецца на яго? Патрэбныя grounding і eval, а не абавязкова fine-tuning.
  • Факты правільныя, але фармат нестабільны на сотнях аднатыпных задач? Fine-tuning становіцца кандыдатам.
  • Пры фарміраванні адказу бачны дакумент, забаронены карыстальніку? Гэта архітэктура доступу; ні адзін з двух падыходаў сам па сабе яе не выправіць.

Добрая сістэма можа змяшчаць абодва падыходы. Дрэнная пачынаецца з тэхналогіі і потым шукае для яе праблему.

Параўнанне

RAG і fine-tuning паводле інжынерных прыкмет

ПатрабаваннеRAGFine-tuning
Абнаўляць фактыЗручнаСкладана
Паказваць крыніцуТакСам па сабе не
Улічваць роліПраз retrieval і ACLСам па сабе не
Стабілізаваць фарматАбмежаванаБольш падыходзіць

Што праверыць

Як прыняць рашэнне на падставе рэальных памылак

  1. Сабраць 50–100 пытанняў і чаканыя крыніцы.
  2. Асобна вымераць траплянне патрэбнага дакумента.
  3. Праверыць grounding, цытаты, адмову і правы.
  4. Класіфікаваць памылкі, што засталіся, паводле прычыны.
  5. Параўноўваць fine-tuning з prompt і постапрацоўкай на тым жа eval.

Як мы падыходзім да задачы

CENTURY выкарыстоўвае RAG для кіраваных ведаў і разглядае fine-tuning толькі як гіпотэзу, якую трэба даказаць на стабільным класе памылак. Тэхналогія выбіраецца пасля baseline, а не да яго.

Крыніцы і спасылкі