Мадэль правільна вылучае дэфект на дэманстрацыйных здымках. У эксплуатацыі ёй давядзецца працаваць з іншым асвятленнем, забруджанай оптыкай, новымі партыямі вырабаў і змененым становішчам камеры. Для выпуску патрэбныя звесткі пра якасць усёй аперацыі ў гэтых умовах.
Праграма ўкаранення павінна звязваць выяву, разметку, рашэнне мадэлі і дзеянне чалавека. Іначай высокі паказчык на наборы здымкаў застанецца асобным эксперыментам, які цяжка выкарыстоўваць у працоўным працэсе.
Вызначыць дапушчальную выяву
Апішыце, што камера павінна бачыць: аб'ект, ракурс, асвятленне, дыяпазон памераў і дапушчальныя перашкоды. Зафіксуйце налады абсталявання і пераўтварэнні выявы. Для здымка па-за гэтымі ўмовамі прадугледзьце статус «непрыдатны для ацэнкі».
Пры працы з цеплавізійнымі данымі асобна вызначце, ці патрэбныя задачы вымераныя тэмпературы, ці дастаткова візуальных прыкмет. Каляровае прадстаўленне нельга лічыць дакладнай тэмпературнай шкалой без звестак пра пераўтварэнне і наладжванне прыбора.
Даследаванне апрацоўкі цеплавізійных відэасігналаў разглядае апрацоўку цеплавізійных відэасігналаў. У прыкладным праекце шлях ад зыходных даных да кадра павінен быць узнаўляльным: змяненне палітры ці нармалізацыі не павінна незаўважна змяняць сэнс уваходных даных для мадэлі.
Раздзяліць навучанне і праверку паводле паходжання даных
Суседнія кадры аднаго відэа могуць быць амаль аднолькавымі. Калі частка трапіла ў навучанне, а частка ў тэст, вынік можа апісваць пазнаванне знаёмых умоў замест працы на новым аб'екце.
Выбірайце падзел паводле таго ўзроўню, на які хочаце пераносіць выснову: выраб, партыя, камера, пляцоўка ці перыяд. Падзел паводле выпадковых выяў падыходзіць не для кожнага з гэтых пытанняў.
Разметку таксама трэба правяраць. Апішыце, хто вызначае наяўнасць дэфекту, паводле якіх крытэрыяў і што рабіць пры разыходжанні ацэнак. Спрэчны прыклад не становіцца надзейным эталонам пасля механічнага выбару большасці.
Частку матэрыялу варта пакінуць для незалежнай выніковай праверкі і не выкарыстоўваць для падбору парога. Пры змене мэтавай пляцоўкі ці тыпу аб'екта межы ранейшага выніку пераглядаюць.
Падлічыць нагрузку ад памылковых трывог
Разгледзім выдуманую змену з 10 000 вырабаў. У ёй сапраўды дэфектныя 100 вырабаў. Мадэль знаходзіць 90 з іх і памылкова пазначае 2% спраўных.
З 9 900 спраўных вырабаў атрымліваюцца 198 памылковых трывог. Усяго на праверку паступяць 288 вырабаў: 90 з дэфектам і 198 без яго. Доля пацверджаных дэфектаў сярод трывог складзе 31,25%. Яшчэ 10 дэфектных вырабаў застануцца прапушчанымі.
Гэты разлік паказвае, чаму аднаго паказчыка выяўлення недастаткова. Калі кожную трывогу разглядае спецыяліст, 198 лішніх праверак маюць асобную цану. Пропускі ацэньваюць асобна з улікам наступстваў.
| Што вымяраць | Якое рашэнне падтрымлівае паказчык |
|---|---|
| Пропускі паводле тыпаў дэфекту | Ці дапушчальная мадэль для выбранага кантролю |
| Памылковыя трывогі за змену | Ці хопіць часу на праверку і ці не заблакуецца паток |
| Доля непрыдатных здымкаў | Ці працуе сістэма збору даных |
| Час поўнага рашэння | Ці ўкладаецца аперацыя ў вытворчы цыкл |
| Якасць паводле пляцовак і ўмоў | Дзе пацверджаная прымяняльнасць выніку |
Усе лічбы прыкладу ўмоўныя. Рабочы парог выбіраюць паводле вымярэнняў і кошту розных памылак, затым правяраюць на даных, якія не выкарыстоўваліся для яго падбору.
Выпускаць сістэму абмежавана
Пачніце з рэжыму, у якім прапанову мадэлі можна супаставіць з дзейным кантролем без аўтаматычнага змянення лёсу вырабу. Захавайце сувязь паміж уваходным здымкам, версіяй мадэлі, рашэннем аператара і наступным пацверджаннем якасці.
Пры абмежаваным уключэнні аўтаматычных дзеянняў павінны быць вызначаныя дазволеныя выпадкі і рэзервовы працэс. Непрыдатны здымак не павінен аўтаматычна атрымліваць статус «дэфекту няма».
Збірайце звесткі пра выпадкі, у якіх мадэль нічога не выявіла. Калі правяраюцца толькі трывогі, ацаніць пропускі немагчыма. Спосаб кантрольнага адбору залежыць ад рызыкі і магчымасцей працэсу.
Абнаўленне павінна мець уласную прыёмку
Змяненне камеры, аб'ектыва, асвятлення ці падрыхтоўкі выяў можа патрабаваць такой жа праверкі, як новая мадэль. Вядзіце версіі ўсяго шляху апрацоўкі і захоўвайце магчымасць вярнуцца да папярэдняга варыянта.
Паўторнае навучанне на выпраўленнях аператараў патрабуе праверкі складу даных: памылкі разметкі і перакос у бок ужо паказаных трывог могуць трапіць у новую версію. Да выпуску параўнайце змяненні паводле тыпаў дэфекту і ўмоў здымкі, а не толькі паводле агульнага сярэдняга паказчыка.
Для эксплуатацыі загадзя вызначце, хто аналізуе змяненне патоку, зацвярджае новую версію і спыняе аўтаматычнае дзеянне. Падрабязны падыход да праверкі сістэм перад запускам карысны і тут, хоць набор тэстаў будзе прадметным.
Медыцынскія задачы патрабуюць асобнай падставы
Публікацыя пра камп'ютарны зрок і MLOps у медыцынскім абслугоўванні акрэслівае напрамак прымянення. Яна не замяняе праверку канкрэтнага медыцынскага вырабу і ўмоў яго выкарыстання.
Прынцыпы IMDRF GMLP 2025 вылучаюць незалежнасць навучальных і тэставых набораў, рэпрэзентатыўнасць клінічных даных і ацэнку ўзаемадзеяння чалавека з сістэмай. Прамысловы прыклад з вырабамі не дае падстаў пераносіць яго парогі на пацыентаў. Прызначэнне, клінічную ацэнку і прымяняльныя патрабаванні вызначаюць асобна.