Мадэль правільна вылучае дэфект на дэманстрацыйных здымках. У эксплуатацыі ёй давядзецца працаваць з іншым асвятленнем, забруджанай оптыкай, новымі партыямі вырабаў і змененым становішчам камеры. Для выпуску патрэбныя звесткі пра якасць усёй аперацыі ў гэтых умовах.

Праграма ўкаранення павінна звязваць выяву, разметку, рашэнне мадэлі і дзеянне чалавека. Іначай высокі паказчык на наборы здымкаў застанецца асобным эксперыментам, які цяжка выкарыстоўваць у працоўным працэсе.

Вызначыць дапушчальную выяву

Апішыце, што камера павінна бачыць: аб'ект, ракурс, асвятленне, дыяпазон памераў і дапушчальныя перашкоды. Зафіксуйце налады абсталявання і пераўтварэнні выявы. Для здымка па-за гэтымі ўмовамі прадугледзьце статус «непрыдатны для ацэнкі».

Пры працы з цеплавізійнымі данымі асобна вызначце, ці патрэбныя задачы вымераныя тэмпературы, ці дастаткова візуальных прыкмет. Каляровае прадстаўленне нельга лічыць дакладнай тэмпературнай шкалой без звестак пра пераўтварэнне і наладжванне прыбора.

Даследаванне апрацоўкі цеплавізійных відэасігналаў разглядае апрацоўку цеплавізійных відэасігналаў. У прыкладным праекце шлях ад зыходных даных да кадра павінен быць узнаўляльным: змяненне палітры ці нармалізацыі не павінна незаўважна змяняць сэнс уваходных даных для мадэлі.

Раздзяліць навучанне і праверку паводле паходжання даных

Суседнія кадры аднаго відэа могуць быць амаль аднолькавымі. Калі частка трапіла ў навучанне, а частка ў тэст, вынік можа апісваць пазнаванне знаёмых умоў замест працы на новым аб'екце.

Выбірайце падзел паводле таго ўзроўню, на які хочаце пераносіць выснову: выраб, партыя, камера, пляцоўка ці перыяд. Падзел паводле выпадковых выяў падыходзіць не для кожнага з гэтых пытанняў.

Разметку таксама трэба правяраць. Апішыце, хто вызначае наяўнасць дэфекту, паводле якіх крытэрыяў і што рабіць пры разыходжанні ацэнак. Спрэчны прыклад не становіцца надзейным эталонам пасля механічнага выбару большасці.

Частку матэрыялу варта пакінуць для незалежнай выніковай праверкі і не выкарыстоўваць для падбору парога. Пры змене мэтавай пляцоўкі ці тыпу аб'екта межы ранейшага выніку пераглядаюць.

Падлічыць нагрузку ад памылковых трывог

Разгледзім выдуманую змену з 10 000 вырабаў. У ёй сапраўды дэфектныя 100 вырабаў. Мадэль знаходзіць 90 з іх і памылкова пазначае 2% спраўных.

З 9 900 спраўных вырабаў атрымліваюцца 198 памылковых трывог. Усяго на праверку паступяць 288 вырабаў: 90 з дэфектам і 198 без яго. Доля пацверджаных дэфектаў сярод трывог складзе 31,25%. Яшчэ 10 дэфектных вырабаў застануцца прапушчанымі.

Гэты разлік паказвае, чаму аднаго паказчыка выяўлення недастаткова. Калі кожную трывогу разглядае спецыяліст, 198 лішніх праверак маюць асобную цану. Пропускі ацэньваюць асобна з улікам наступстваў.

Што вымяраць Якое рашэнне падтрымлівае паказчык
Пропускі паводле тыпаў дэфекту Ці дапушчальная мадэль для выбранага кантролю
Памылковыя трывогі за змену Ці хопіць часу на праверку і ці не заблакуецца паток
Доля непрыдатных здымкаў Ці працуе сістэма збору даных
Час поўнага рашэння Ці ўкладаецца аперацыя ў вытворчы цыкл
Якасць паводле пляцовак і ўмоў Дзе пацверджаная прымяняльнасць выніку

Усе лічбы прыкладу ўмоўныя. Рабочы парог выбіраюць паводле вымярэнняў і кошту розных памылак, затым правяраюць на даных, якія не выкарыстоўваліся для яго падбору.

Выпускаць сістэму абмежавана

Пачніце з рэжыму, у якім прапанову мадэлі можна супаставіць з дзейным кантролем без аўтаматычнага змянення лёсу вырабу. Захавайце сувязь паміж уваходным здымкам, версіяй мадэлі, рашэннем аператара і наступным пацверджаннем якасці.

Пры абмежаваным уключэнні аўтаматычных дзеянняў павінны быць вызначаныя дазволеныя выпадкі і рэзервовы працэс. Непрыдатны здымак не павінен аўтаматычна атрымліваць статус «дэфекту няма».

Збірайце звесткі пра выпадкі, у якіх мадэль нічога не выявіла. Калі правяраюцца толькі трывогі, ацаніць пропускі немагчыма. Спосаб кантрольнага адбору залежыць ад рызыкі і магчымасцей працэсу.

Абнаўленне павінна мець уласную прыёмку

Змяненне камеры, аб'ектыва, асвятлення ці падрыхтоўкі выяў можа патрабаваць такой жа праверкі, як новая мадэль. Вядзіце версіі ўсяго шляху апрацоўкі і захоўвайце магчымасць вярнуцца да папярэдняга варыянта.

Паўторнае навучанне на выпраўленнях аператараў патрабуе праверкі складу даных: памылкі разметкі і перакос у бок ужо паказаных трывог могуць трапіць у новую версію. Да выпуску параўнайце змяненні паводле тыпаў дэфекту і ўмоў здымкі, а не толькі паводле агульнага сярэдняга паказчыка.

Для эксплуатацыі загадзя вызначце, хто аналізуе змяненне патоку, зацвярджае новую версію і спыняе аўтаматычнае дзеянне. Падрабязны падыход да праверкі сістэм перад запускам карысны і тут, хоць набор тэстаў будзе прадметным.

Медыцынскія задачы патрабуюць асобнай падставы

Публікацыя пра камп'ютарны зрок і MLOps у медыцынскім абслугоўванні акрэслівае напрамак прымянення. Яна не замяняе праверку канкрэтнага медыцынскага вырабу і ўмоў яго выкарыстання.

Прынцыпы IMDRF GMLP 2025 вылучаюць незалежнасць навучальных і тэставых набораў, рэпрэзентатыўнасць клінічных даных і ацэнку ўзаемадзеяння чалавека з сістэмай. Прамысловы прыклад з вырабамі не дае падстаў пераносіць яго парогі на пацыентаў. Прызначэнне, клінічную ацэнку і прымяняльныя патрабаванні вызначаюць асобна.