Галоўнае
Для зменлівых карпаратыўных фактаў пачніце з RAG і eval retrieval, grounding, цытат і доступу. Fine-tuning правярайце толькі пасля гэтага — для стабільнага фармату, стылю або паўтаральнай вузкай аперацыі, а не як спосаб захоўваць учарашнія дакументы.
«Хочам навучыць нейрасетку на нашых дакументах» — адна з самых частых фармулёвак на старце. Звычайна за ёй хаваюцца дзве розныя задачы: мадэль павінна ведаць свежыя факты кампаніі і адказваць у патрэбным фармаце. Для першай часцей патрэбны RAG. Для другой часам сапраўды патрэбны fine-tuning.
Калі пераблытаць задачы, атрымаецца дарагая сістэма, якая ўсё роўна не ведае ўчарашні загад і не можа паказаць крыніцу.
Кароткі адказ
RAG знаходзіць рэлевантныя фрагменты ў знешняй базе ведаў і перадае іх мадэлі ў момант адказу. Дакументы можна абнаўляць без перанавучання мадэлі; адказ можна звязаць з крыніцай і правамі карыстальніка.
Fine-tuning змяняе вагі мадэлі на прыкладах. Ён карысны для ўстойлівага фармату, стылю, класіфікацыі, тэрміналогіі або паводзін, якія цяжка задаць інструкцыяй. Гэта дрэнны спосаб пастаянна «заліваць» факты, што змяняюцца.
Гэтыя падыходы не выключаюць адзін аднаго. Часта працоўная сістэма выкарыстоўвае RAG для ведаў, а fine-tuning — толькі калі eval паказвае, што базавая мадэль нестабільна выконвае паўтаральны тып задачы.
Калі выбіраць RAG
RAG падыходзіць, калі:
- дакументы змяняюцца часцей, чым вы гатовыя перанавучаць мадэль;
- карыстальніку патрэбныя спасылкі і цытаты;
- розныя супрацоўнікі маюць розныя правы;
- важна выдаліць або адклікаць крыніцу;
- адказ павінен сумленна залежаць ад зацверджанай версіі базы ведаў;
- трэба зразумець, які дакумент прывёў да памылкі.
Галоўная перавага RAG — кіравальнасць ведаў. Але вектарная база сама па сабе не забяспечвае якасці. Асобна праверце падзел дакументаў, пошук патрэбных фрагментаў, версіі крыніц, фільтры доступу і паводзіны пры адсутнасці адказу. Калі патрэбны фрагмент не трапіў у кантэкст, наладка стылю адказу не выправіць прычыну памылкі.
Калі fine-tuning сапраўды карысны
Разгледзьце fine-tuning, калі ў вас ёсць стабільная задача і якасныя пары «ўваход — правільны выхад»:
- класіфікацыя зваротаў паводле ўнутранай таксаноміі;
- строгае запаўненне спецыфічнай структуры;
- устойлівае прытрымліванне галіновага стылю;
- выбар вядомага тыпу дзеяння з абмежаванага набору;
- скарачэнне доўгага prompt пры масавай аднатыпнай нагрузцы.
Але спачатку параўнайце з добрым prompt, некалькімі прыкладамі і дэтэрмінаванай постапрацоўкай. Fine-tuning дадае набор даных, pipeline навучання, версіянаванне, ацэнку і паўторнае навучанне. Часам гэта апраўдана; часам маскіруе слабую пастаноўку задачы.
Чаго fine-tuning не вырашыць
Ён не стварае надзейную базу свежых фактаў. Калі заўтра зменіцца тарыф, палажэнне або склад паслугі, старыя вагі нельга «выдаліць» гэтак жа проста, як дакумент з актыўнага індэкса. Мадэль таксама не атрымлівае аўтаматычна сістэму правоў доступу і правяральную цытату.
Fine-tuning не выпраўляе дрэнныя крыніцы. Калі ў датасеце супярэчнасці і састарэлыя адказы, мадэль вывучыць менавіта іх.
Матрыца рашэння
| Патрабаванне | RAG | Fine-tuning |
|---|---|---|
| Часта абнаўляць факты | Моцны выбар | Слабы выбар |
| Паказваць крыніцу | Так | Сам па сабе — не |
| Адклікаць дакумент | Кіравана | Складана |
| Улічваць правы карыстальніка | Праз retrieval і ACL | Сам па сабе — не |
| Стабілізаваць фармат/стыль | Абмежавана | Моцны выбар |
| Навучыць вузкай паўтаральнай аперацыі | Часам | Часта карысны |
| Растлумачыць прычыну канкрэтнага адказу | Па знойдзеных фрагментах | Абмежавана |
Працоўная паслядоўнасць без лішняй магіі
- Збярыце 50–100 рэальных пытанняў і чаканыя крыніцы.
- Зрабіце baseline на мадэлі без RAG і fine-tuning.
- Дадайце retrieval і асобна вымерайце траплянне патрэбнага дакумента.
- Праверце grounding, цытаты, адмову і правы доступу.
- Паглядзіце, якія памылкі засталіся.
- Толькі калі яны тычацца ўстойлівых паводзін, ацаніце fine-tuning на тым жа наборы.
Так рашэнне прымаецца на падставе памылак, а не моднага слова.
Прыклад гібрыднай архітэктуры
У нашым RAG-праекце для зацверджанай базы ведаў факты дазволена браць толькі з актыўнай версіі індэкса. Dense-пошук дапаўняецца лексічным пошукам, вынікі аб'ядноўваюцца, а адказ абавязаны паказаць крыніцу або адмовіцца. Дыялогавая памяць дапамагае працягваць размову, але не лічыцца крыніцай фактаў.
Калі б гэтаму прадукту спатрэбіўся ўстойлівы фармат класіфікацыі зваротаў, fine-tuning можна было б праверыць асобна. Але навучаць мадэль на кожным новым дакуменце прыёмнай кампаніі было б складаней і менш празрыста, чым абнавіць версіянаваную базу.
Як прыняць рашэнне за адну сустрэчу
Вазьміце тры прыклады, на якіх бягучы AI памыляецца, і спытайце:
- Памылка праз адсутны або састарэлы факт? Патрэбны retrieval або выпраўленне крыніцы.
- Патрэбны дакумент знойдзены, але адказ не абапіраецца на яго? Патрэбныя grounding і eval, а не абавязкова fine-tuning.
- Факты правільныя, але фармат нестабільны на сотнях аднатыпных задач? Fine-tuning становіцца кандыдатам.
- Пры фарміраванні адказу бачны дакумент, забаронены карыстальніку? Гэта архітэктура доступу; ні адзін з двух падыходаў сам па сабе яе не выправіць.
Добрая сістэма можа змяшчаць абодва падыходы. Дрэнная пачынаецца з тэхналогіі і потым шукае для яе праблему.
Параўнанне
RAG і fine-tuning паводле інжынерных прыкмет
| Патрабаванне | RAG | Fine-tuning |
|---|---|---|
| Абнаўляць факты | Зручна | Складана |
| Паказваць крыніцу | Так | Сам па сабе не |
| Улічваць ролі | Праз retrieval і ACL | Сам па сабе не |
| Стабілізаваць фармат | Абмежавана | Больш падыходзіць |
Што праверыць
Як прыняць рашэнне на падставе рэальных памылак
- Сабраць 50–100 пытанняў і чаканыя крыніцы.
- Асобна вымераць траплянне патрэбнага дакумента.
- Праверыць grounding, цытаты, адмову і правы.
- Класіфікаваць памылкі, што засталіся, паводле прычыны.
- Параўноўваць fine-tuning з prompt і постапрацоўкай на тым жа eval.
Як мы падыходзім да задачы
CENTURY выкарыстоўвае RAG для кіраваных ведаў і разглядае fine-tuning толькі як гіпотэзу, якую трэба даказаць на стабільным класе памылак. Тэхналогія выбіраецца пасля baseline, а не да яго.