Галоўнае
Ацэньваць AI-праект трэба паводле працоўных патокаў, а не колькасці экранаў ці цаны токенаў. Найбольшыя невядомыя звычайна звязаныя з данымі, інтэграцыямі, правіламі доступу, крытэрыямі якасці і апрацоўкай выключэнняў. Таму спачатку патрэбны абмежаваны discovery з крытэрыямі stop/go.
Ацэнка AI-праекта рэдка аказваецца памылковай праз цану мадэлі. Значна часцей дыяпазон пашыраецца праз невядомыя ў даных, інтэграцыях, правах, перадачы задач людзям і крытэрыях якасці. Таму размова пра тэрміны і бюджэт мае сэнс толькі пасля разбору працоўнага працэсу.
На практыцы гэта азначае: спачатку абмежаваны discovery, затым праверка ключавых невядомых і толькі потым аб'ём прамысловага ўкаранення. Такі падыход адпавядае і NIST AI RMF, і інжынернай логіцы пастаўкі складаных сістэм.
Асноўныя фактары тэрмінаў і цаны
Самыя дарагія часткі AI-праекта звычайна не бачныя на першым экране. Гэта якасць зыходных даных, нестабільныя API, ручныя абыходныя шляхі ў працэсе, наладжванне evaluation, бяспека дзеянняў і аперацыйны контур пасля запуску.
- Працэс: колькі роляў, выключэнняў і станаў існуе насамрэч.
- Даныя: дзе знаходзяцца крыніцы, хто іх уладальнік і як абнаўленні ўплываюць на вынік.
- Інтэграцыі: ці ёсць тэставае асяроддзе, ідэмпатэнтнасць і зразумелая дакументацыя.
- Эксплуатацыя: маніторынг, журналы, SLA, падтрымка, rollback і кошт памылкі.
Чаму discovery эканоміць грошы, а не падаўжае праект
Калі невядомыя не разабраныя на пачатку, яны ўсё адно праявяцца пазней — ужо як перапрацоўка архітэктуры, change request ці спрэчка пра прыёмку. Невялікі discovery патрэбны не дзеля прыгожага дакумента, а каб ператварыць рызыку ў вымерную праверку і зафіксаваць крытэрыі stop/go.
Сумленная ацэнка на старце
На першай сустрэчы разумна абяцаць не дакладны каштарыс, а межы версіі, спіс ключавых невядомых і фармат наступнага праверачнага этапу. Чым больш пацверджаных фактаў пра даныя, ролі і інтэграцыі, тым вузейшым становіцца дыяпазон. Ранняя дакладная лічба без гэтых уваходных звестак звычайна проста адкладае рызыку на перыяд пасля заключэння дагавора.
Што ўключыць у дыяпазон, акрамя распрацоўкі
У дыяпазон прамысловага ўкаранення павінны ўваходзіць падрыхтоўка і міграцыя даных, eval і негатыўныя сцэнарыі, кіраванне доступам, observability, запуск, навучанне ўладальніка працэсу і перыяд стабілізацыі. Асобна пазначаюцца знешнія API, inference, інфраструктура і дапушчэнні адносна нагрузкі.
Прыёмка прывязваецца да назіральнага выніку: версія разгорнутая, кантрольны набор пройдзены, крытычныя памылкі адсутнічаюць, handoff працуе, а ўладальнік атрымлівае журналы і працэдуру rollback.
Параўнанне
Асноўныя фактары ацэнкі
| Паток | Што ўваходзіць | Што павялічвае нявызначанасць |
|---|---|---|
| Працэс | Ролі, крокі, выключэнні, handoff | Няма ўладальніка ці baseline |
| Даныя | Крыніцы, ачыстка, правы, абнаўленне | Нізкая якасць і невядомыя правы доступу |
| AI | Мадэль, prompt, retrieval, інструменты | Няма кантрольнага набору |
| Інтэграцыі | API, падзеі, станы, памылкі | Legacy і ручныя абыходныя шляхі |
| Эксплуатацыя | Логі, маніторынг, падтрымка, кошт | Не вызначаныя SLA і release gate |
Што праверыць
Што падрыхтаваць для сумленнай ацэнкі
- Апісаць адзін прыярытэтны працэс і бягучы baseline.
- Назваць карыстальнікаў, уладальніка працэсу і кошт крытычнай памылкі.
- Паказаць рэальныя прыклады даных і абмежаванні доступу.
- Вылучыць інтэграцыі і дзеянні, якія ўплываюць на знешнія сістэмы.
- Узгадніць крытэрыі stop/go і склад выніку пілота.
Як мы падыходзім да задачы
CENTURY падзяляе ацэнку на discovery, праверку ключавых невядомых і прамысловы контур. Дыяпазон удакладняецца на падставе доказаў; ранняя дакладная лічба без даных звычайна толькі хавае рызыку ў change requests.