Галоўнае
Класіфікуйце даныя і параўнайце мінімум дзве дапушчальныя архітэктуры на адным eval-наборы. Cloud выбіраюць за хуткасць і эластычнасць, on-prem — за кантроль пры гатовай эксплуатацыі, hybrid — калі мяжу даных сапраўды можна даказаць.
Выбар контуру для AI часта пачынаюць з гатовага адказу: служба бяспекі хоча on-prem, прадуктовая каманда — cloud. Абодва бакі могуць мець рацыю, але спрачаюцца занадта агульнымі словамі.
Не існуе «бяспечнага размяшчэння» ўвогуле. Ёсць канкрэтныя даныя, мадэлі пагроз, патрабаванні да якасці, затрымкі, даступнасці і каманда, якая ўсё гэта будзе абслугоўваць.
Тры варыянты без маркетынгу
Cloud AI — мадэль і частка сэрвісаў працуюць у знешняга правайдара. Хуткі старт, шырокі выбар моцных мадэляў, эластычнае маштабаванне. Цана і правілы апрацоўкі залежаць ад пастаўшчыка і дагавора.
On-prem AI — inference выконваецца, а ключавыя даныя знаходзяцца ў інфраструктуры арганізацыі. Больш кантролю над кампанентамі і сеткавымі патокамі, але ўся эксплуатацыя становіцца вашай адказнасцю.
Hybrid AI — даныя і функцыі падзеленыя. Напрыклад, закрытыя дакументы і retrieval застаюцца ў private-контуры, а абязлічаная задача ідзе ў cloud-мадэль; або асноўны inference працуе лакальна, а cloud выкарыстоўваецца для дазволеных складаных выпадкаў.
Hybrid — не аўтаматычны кампраміс. Мяжу паміж контурамі павінна быць магчыма даказаць: якія палі ідуць вонкі, хто іх ачышчае, ці можна аднавіць зыходныя даныя, што трапляе ў логі.
Пачніце з класіфікацыі даных
Складзіце спіс патокаў, а не адну пазнаку «канфідэнцыйна»:
- карыстальніцкі ўвод;
- сістэмны prompt;
- знойдзеныя фрагменты дакументаў;
- гісторыя дыялогу;
- tool calls і адказы інтэграцый;
- embeddings;
- логі і трасіроўкі;
- наборы для eval;
- рэзервовыя копіі.
Для кожнага патоку вызначце ўладальніка, дапушчальныя юрысдыкцыі і пастаўшчыкоў, тэрмін захоўвання, правы карыстальнікаў і спосаб выдалення. Часам галоўны дакумент нельга адпраўляць у cloud, але здабытыя неадчувальныя прыкметы можна. Часам нават факт існавання запыту закрыты.
Параўноўвайце якасць на сваёй задачы
Лакальная мадэль, якая фармальна змяшчаецца на даступны GPU, можа горш выконваць доўгія інструкцыі, tool use ці працаваць з рускай мовай. Cloud-мадэль можа быць якаснейшай, але недапушчальнай для часткі даных.
Патрэбны адзін eval-набор і мінімум дзве дапушчальныя архітэктуры. Вымярайце task success, grounding, правы, latency і кошт. Не выбірайце мадэль паводле памеру, лідарборда ці прыгожага агульнага benchmark.
On-prem не адмяняе zero trust
NIST SP 800-207 наўпрост аддзяляе давер ад сеткавага размяшчэння. Сервер унутры офіса ўсё адно патрабуе ідэнтычнасцей карыстальнікаў і сэрвісаў, мінімальных правоў, сегментацыі, журналаў і праверкі кожнага запыту.
Калі агульны endpoint лакальнай мадэлі даступны ўсім унутраным дадаткам, ён можа стаць зручным каналам здабывання даных. Калі embeddings і логі ляжаць «унутры», але без ACL, перыметр не ратуе ад памылковага доступу супрацоўніка ці скампраметаванага сэрвісу.
Хто будзе эксплуатаваць контур
Для on-prem трэба сумленна прызначыць уладальнікаў:
- абнаўленняў драйвераў, runtime і мадэляў;
- CVE і ланцужка паставак;
- capacity planning;
- маніторынгу GPU, latency, памылак і чэргаў;
- рэзервавання і аднаўлення;
- eval перад абнаўленнем;
- рэагавання на інцыдэнт.
NVIDIA NIM, напрыклад, прадугледжвае liveness/readiness і метрыкі, але наяўнасць endpoint не стварае аперацыйнага працэсу сама па сабе. Хтосьці павінен сачыць, каб сэрвіс быў не проста «жывы», а гатовы прымаць запыты і выдаваў дапушчальную якасць.
Матрыца выбару
| Фактар | Cloud | Hybrid | On-prem |
|---|---|---|---|
| Хуткасць першага пілота | Звычайна высокая | Сярэдняя | Звычайна ніжэйшая |
| Выбар моцных мадэляў | Шырокі | Шырокі для дазволеных патокаў | Абмежаваны інфраструктурай |
| Кантроль кампанентаў | Абмежаваны пастаўшчыком | Падзелены | Максімальны |
| Эластычнасць нагрузкі | Звычайна высокая | Залежыць ад мяжы | Трэба планаваць магутнасці |
| Эксплуатацыйная нагрузка | Ніжэйшая, але не нулявая | Высокая праз два контуры | Максімальная |
| Data residency | Паводле ўмоў правайдара | Наладжваецца паводле патокаў | Пад кантролем арганізацыі |
| Цана пры нізкай загрузцы | Часта выгадней | Складаней лічыць | Рызыка дарагога прастою |
| Exit plan | Залежыць ад API і даных | Патрэбны для абедзвюх частак | Залежыць ад hardware/runtime |
Практычны спосаб прыняць рашэнне
- Выберыце адзін працэс, не «AI для ўсёй кампаніі».
- Намалюйце поўны data flow.
- Зафіксуйце забароны і абавязковыя патрабаванні.
- Адкіньце архітэктуры, якія ім не адпавядаюць.
- Астатнія праверце на адным eval-наборы і профілі нагрузкі.
- Падлічыце трохгадовы TCO, уключаючы людзей і прастой.
- Праверце failure mode: што адбываецца пры недаступнасці мадэлі ці сеткі.
- Апішыце змену пастаўшчыка і вяртанне даных.
Часам выснова будзе «cloud з enterprise-наладамі». Часам — закрыты on-prem. Часта — hybrid з вельмі невялікай дазволенай мяжой. Важна, каб рашэнне вынікала з патрабаванняў, а не з адчування, што сервер ва ўласнай стойцы аўтаматычна бяспечны.
Параўнанне
Параўнанне AI-контураў
| Фактар | Cloud | Hybrid | On-prem |
|---|---|---|---|
| Пілот | Хутка | Сярэдне | Звычайна даўжэй |
| Кантроль кампанентаў | У правайдара | Падзелены | У арганізацыі |
| Эластычнасць | Высокая | Залежыць ад мяжы | Трэба планаваць |
| Эксплуатацыя | Ніжэйшая, але не нулявая | Складаней | Максімальная |
Што праверыць
Да выбару размяшчэння
- Раскласці паводле патокаў prompt, дакументы, embeddings, логі і eval.
- Зафіксаваць уладальніка, тэрмін захоўвання і дапушчальнага правайдара.
- Праверыць якасць і latency на сваіх задачах.
- Прызначыць уладальнікаў абнаўленняў, CVE, маніторынгу і recovery.
- Апісаць маштабаванне і выхад з выбранага контуру.
Як мы падыходзім да задачы
CENTURY разглядае private AI як аперацыйную адказнасць. Сеткавае размяшчэнне не замяняе ідэнтычнасці, мінімальных правоў, журнала, сегментацыі і праверкі ланцужка паставак.