Пілот заканчваецца, калі ў каманды дастаткова падстаў для наступнага рашэння: запусціць абмежаваную эксплуатацыю, ліквідаваць канкрэтны дэфект або закрыць сцэнарый. Працоўная дэманстрацыя дае толькі частку гэтых падстаў.
Розніца добра бачная на апрацоўцы дакументаў. Мадэль можа правільна здабыць палі з падрыхтаванага набору, а прамысловы працэс усё роўна застанецца негатовым: невядома, хто разбірае спрэчныя дакументы, як выяўляць прапушчаныя заданні і што рабіць пры змене фармату ўваходных файлаў.
Праверку гатоўнасці зручна аформіць кароткім пратаколам. Яго складае каманда, а рашэнне прымае ўладальнік працэсу з удзелам адказных за эксплуатацыю і рызыкі.
Зафіксаваць мяжу пілота да выніковага тэсту
У апісанні пілота пазначце дапушчальныя ўваходныя даныя, чаканы вынік і межы аўтаматызацыі. Для здабывання палёў гэта могуць быць канкрэтныя тыпы дакументаў і мовы. Для памочніка падтрымкі — пералік тэм і забарона на самастойную адпраўку адказу.
Па-за межамі гэтай вобласці сістэма павінна пераходзіць у загадзя прадугледжаны рэжым: перадаваць дакумент чалавеку, вяртаць паведамленне пра абмежаванне або адмаўляцца ад дзеяння. Пашырэнне вобласці прымянення патрабуе новай праверкі.
Затым выберыце зыходны працэс для параўнання. Патрэбныя яго фактычныя выдаткі часу, памылкі і выключэнні. Параўнанне з ідэалізаванай ручной працай або з загадзя дрэнным чарнавіком не дапамагае вырашыць, ці варта змяняць дзейную аперацыю.
Адкладзены набор для выніковай ацэнкі не выкарыстоўваюць для наладжвання промптаў і правілаў. Калі каманда выпраўляла сістэму паводле гэтага набору, яго вынікі ўжо не з'яўляюцца незалежнай праверкай. Для наступнага рашэння спатрэбіцца свежы матэрыял або яўна абмежаваная выснова.
Якія сведчанні пакласці на стол
У The ML Test Score гатоўнасць ML-сістэмы разглядаецца праз праверкі даных, мадэлі, інфраструктуры і маніторынгу. Для кіраўнічага рашэння гэты прынцып можна ператварыць у наступную табліцу.
| Вобласць | Сведчанне гатоўнасці | Што блакуе пашырэнне |
|---|---|---|
| Якасць аперацыі | Супастаўленне з зыходным працэсам на загадзя вызначанай выбарцы | Правяраліся толькі зручныя выпадкі |
| Выключэнні | Вынікі апрацоўкі няштатных і невядомых уваходных даных | Сістэма хавае памылку праўдападобным адказам |
| Даныя і паўнамоцтвы | Узгоднены пералік крыніц, доступаў і дзеянняў | Незразумела, якія даныя пакідаюць дазволенае асяроддзе |
| Эксплуатацыя | Журнал заданняў, апавяшчэнні, адказны за збой, правераны адкат | Аднаўленне залежыць ад прысутнасці распрацоўшчыка |
| Карысць | Вымярэнне поўнага цыкла з праверкай і выпраўленнямі | Улічваецца толькі хуткасць генерацыі |
Гэта прапанаваная форма пратакола, без універсальных прахадных працэнтаў. Парог залежыць ад наступстваў памылкі і патрабаванняў канкрэтнай аперацыі.
Адрозніваць праверку адказаў ад праверкі працоўнага працэсу
У ценявым рэжыме сістэма атрымлівае ўваходныя даныя, але яе вынік не змяняе працоўныя запісы і не ўплывае на кліента. Гэта дазваляе параўнаць адказы і вывучыць памылкі. Аднак такая праверка не паказвае, колькі часу супрацоўнік патраціць на новы інтэрфейс і як будзе дзейнічаць пры супярэчнасці паміж мадэллю і дакументам.
Абмежаваная эксплуатацыя дадае гэтыя назіранні. Для яе загадзя вызначаюць карыстальнікаў з доступам, тыпы заданняў, гранічную нагрузку і парадак спынення. Выканаўцы павінны ведаць, дзе заканчваецца аўтаматызацыя і каму належыць спрэчны выпадак.
Складаныя дакументы нельга незаўважна выключаць з назоўніка. Асобна паказвайце долю ўваходных даных, якія адпавядаюць умовам пілота, долю аўтаматычна завершаных аперацый і долю вяртанняў чалавеку. Высокая якасць на вузкім падмностве можа быць карысным вынікам, калі гэтае падмноства сумленна апісана.
Адсутнасць інцыдэнтаў у невялікім тэсце не даказвае адсутнасць рызыкі. Таму небяспечныя сцэнарыі правяраюць мэтанакіравана, а рэшткавую нявызначанасць запісваюць у рашэнне.
Прыклад выніковага рашэння
Ніжэй — выдуманы прыклад фармулёўкі, а не справаздача пра праведзены праект.
Дазволіць абмежаваную эксплуатацыю здабывання рэквізітаў з дакументаў узгодненага фармату. Да запісу ва ўліковую сістэму вынік пацвярджае аператар. Астатнія фарматы застаюцца ў ручным працэсе. Масавую апрацоўку не ўключаць да праверкі аднаўлення пасля збою. За гэтую праверку адказвае каманда інтэграцыі; рашэнне пра пашырэнне прымае ўладальнік дакументаабароту. Пры разыходжанні сум або страце сувязі з крыніцай заданне перадаецца аператару без аўтаматычнага запісу.
У гэтым запісе зразумелыя вобласць дазволу, нявырашанае пытанне, уладальнік і рэзервовы парадак. Фармулёўка «пілот паспяховы, рэкамендуем маштабаванне» гэтых звестак не змяшчае.
Як не затрымацца ў бясконцай дапрацоўцы
Для працягу пілота патрэбна гіпотэза, якую можна праверыць. Напрыклад: «Памылкі звязаныя з двума варыянтамі формы; пасля выпраўлення праверым новыя дакументы абодвух варыянтаў». Разам з гіпотэзай задаюць бюджэт, тэрмін і ўмову спынення эксперымента.
Калі чарговае пашырэнне не дае новых ведаў, карысна перагледзець саму задачу. Часам дастаткова звузіць набор уваходных даных або пакінуць мадэлі падрыхтоўку чарнавіка. Часам ручны працэс аказваецца больш прымальным паводле сукупнасці выдаткаў і рызык.
Пытанні кошту раскрытыя асобна ў матэрыяле пра тэрміны і бюджэт AI-праекта, а будова тэставага набору — у кіраўніцтве па ацэнцы AI-агентаў. Выніковы пратакол звязвае гэтыя вынікі з адным рашэннем і адказным за яго.