У CRM заказ пазначаны як аплачаны, ва ўліковай сістэме плацеж яшчэ не праведзены, а ў выгрузцы для аналітыкі захаваны ўчарашні стан. Усе тры запісы могуць дакладна адлюстроўваць свае сістэмы. Але памочнік, якому даручылі адказаць «ці можна адгружаць заказ», атрымае супярэчлівыя ўваходныя даныя.
Пачынаць падрыхтоўку даных варта з канкрэтнага рашэння і правілаў інтэрпрэтацыі. Для гэтага карысны кантракт якасці: пагадненне пра склад даных, іх паходжанне, актуальнасць і дзеянні пры парушэнні ўмоў.
Якасць вызначаецца задачай
У публікацыі «Якасць даных у Big Data» разглядаюцца характарыстыкі якасці даных. Для прыкладнога праекта гэтыя характарыстыкі трэба перавесці ва ўмовы, якія можна праверыць. Поле можа быць прымальным для месячнай справаздачы і непрыдатным для рашэння, якое прымаецца цяпер.
У кантракце запішыце, якую падзею адлюстроўвае кожнае істотнае значэнне. «Дата аплаты» можа азначаць стварэнне даручэння, паступленне грошай або правядзенне аперацыі ва ўліковай сістэме. Назва слупка гэтага адрознення не тлумачыць.
Вызначце крыніцу, упаўнаважаную пацвярджаць канкрэтны факт. Гэта не абавязкова адна сістэма на ўсе выпадкі. Склад пацвярджае фізічную наяўнасць, фінансавая сістэма — праведзены плацеж, рэестр дагавораў — дзейныя ўмовы. Памочнік павінен захоўваць гэтыя межы.
Кантракт на прыкладзе праверкі заказу
Ніжэй — выдуманы прыклад. Парогавыя значэнні ілюструюць будову дамоўленасці паміж камандамі і не з'яўляюцца ўніверсальнымі нарматывамі.
| Аб'ект праверкі | Умова | Рэакцыя пры парушэнні |
|---|---|---|
| Ідэнтыфікатар заказу | Непусты і адназначна звязвае запісы | Не аб'ядноўваць запісы на падставе дапушчэння; адправіць на разбор |
| Валюта і сума | Валюта зададзена; сума разабрана без акруглення да цэлых | Заблакаваць грашовае параўнанне |
| Статус плацяжу | Значэнне ўзята з узгодненай крыніцы і слоўніка | Паказаць, што статус не пацверджаны |
| Актуальнасць рэшткаў | Абнаўленне не старэйшае за ўзгоднены для аперацыі інтэрвал | Запытаць свежыя звесткі або перадаць рашэнне супрацоўніку |
| Неабавязковы каментарый | Адсутнасць дапускаецца | Працягнуць апрацоўку без дадумвання зместу |
| Версія схемы | Версія падтрымліваецца апрацоўшчыкам | Спыніць загрузку новага фармату да праверкі сумяшчальнасці |
Для крытычных рэквізітаў доля памылак па ўсім масіве малаінфарматыўная: адзін няправільна звязаны заказ можа прывесці да няправільнага дзеяння. Таму абавязковасць умовы задаюць на ўзроўні аперацыі, а агрэгаваную статыстыку выкарыстоўваюць для назірання за патокам.
Захоўваць факт і яго паходжанне разам
Вынік загрузкі павінен дазваляць адказаць, з якой крыніцы атрымана значэнне, калі яно адпавядала рэальнасці і калі трапіла ў сістэму. Для выгрузкі карысна захоўваць ідэнтыфікатар набору або кантрольную суму, версію пераўтварэння і час зрэзу.
Не замяняйце зыходнае значэнне нармалізаваным без следу. Калі радок «1 250,50» пераўтвораны ў лік, трэба мець магчымасць праверыць правілы пераўтварэння. Калі код супастаўлены з даведнікам, зафіксуйце версію даведніка.
W3C Data Quality Vocabulary апісвае спосабы прадстаўлення вымярэнняў якасці і звязаных метаданых. Нават без укаранення гэтага слоўніка карысна прытрымлівацца яго базавага адрознення: характарыстыка якасці, спосаб яе вымярэння і вынік вымярэння — розныя аб'екты.
Для канкрэтнага паказчыка запішыце лічнік, назоўнік і выключэнні. «Паўната 99%» незразумелая, пакуль невядома, якія палі і запісы правяраліся. Сто пропускаў у неабавязковым каментарыі і сто адсутных ідэнтыфікатараў заказу ствараюць розныя наступствы.
Не хаваць нязручныя запісы
Пашкоджаныя, супярэчлівыя і непадтрыманыя ўваходныя даныя накіроўваюць у асобную чаргу. У запісе захоўваюць прычыну, уладальніка разбору і сувязь з першапачатковым запытам. Адкідванне радка без апавяшчэння можа ператварыць тэхнічную памылку ў страчаную бізнес-аперацыю.
У справаздачы паказвайце і якасць прынятага патоку, і долю адхіленых уваходных даных. Інакш паляпшэнне метрыкі можна атрымаць простым выключэннем складаных выпадкаў.
Прапушчанае значэнне нельга безумоўна замяняць нулём. Нуль можа азначаць рэальную адсутнасць доўгу, колькасці або тэмпературы паводле выбранай шкалы. Для невядомага значэння патрэбны ўласны статус, а для дапушчальнага запаўнення — яўна ўзгодненае правіла.
Як змяняць кантракт без спынення спажыўцоў
Уладальнікі крыніцы і спажыўца дамаўляюцца пра сумяшчальнасць да змены схемы. Новае неабавязковае поле звычайна патрабуе іншага аб'ёму працы, чым змена сэнсу ўжо існага статусу. Другі выпадак асабліва небяспечны: фармат застаецца ранейшым, а рашэнне змяняецца.
Праверце новую версію на захаваных прыкладах і на свежых уваходных даных. Параўнайце адрозненні па аперацыях, вызначце момант пераключэння і магчымасць вяртання. Для ўзнаўлення старога выніку спатрэбяцца стары набор даных і адпаведная яму логіка.
Кантракт павінен мець уладальніка з абодвух бакоў. Аўтаматычная праверка паведамляе пра парушэнне, але не можа самастойна вырашыць спрэчку пра тое, якая сістэма адлюстроўвае дзейнае бізнес-правіла.
Што можна даручыць мадэлі
Мадэль можа дапамагаць разбіраць свабодны тэкст, прапаноўваць адпаведнасць палёў і тлумачыць знойдзеныя разыходжанні. Для прыняцця крытычных значэнняў патрэбныя правілы, якія можна праверыць, і крыніца пацвярджэння. Узгодненасць адказу сама па сабе не пацвярджае якасць уваходных даных.
Для базы ведаў пытанні версій і пераключэння дадаткова раскрытыя ў артыкуле пра абнаўленне RAG без паломкі актыўнай версіі. Кантракт якасці патрэбны раней: ён вызначае, якія даныя ўвогуле дапушчальна ўключаць у новую версію.