Галоўнае

Класіфікуйце даныя і параўнайце мінімум дзве дапушчальныя архітэктуры на адным eval-наборы. Cloud выбіраюць за хуткасць і эластычнасць, on-prem — за кантроль пры гатовай эксплуатацыі, hybrid — калі мяжу даных сапраўды можна даказаць.

Выбар контуру для AI часта пачынаюць з гатовага адказу: служба бяспекі хоча on-prem, прадуктовая каманда — cloud. Абодва бакі могуць мець рацыю, але спрачаюцца занадта агульнымі словамі.

Не існуе «бяспечнага размяшчэння» ўвогуле. Ёсць канкрэтныя даныя, мадэлі пагроз, патрабаванні да якасці, затрымкі, даступнасці і каманда, якая ўсё гэта будзе абслугоўваць.

Тры варыянты без маркетынгу

Cloud AI — мадэль і частка сэрвісаў працуюць у знешняга правайдара. Хуткі старт, шырокі выбар моцных мадэляў, эластычнае маштабаванне. Цана і правілы апрацоўкі залежаць ад пастаўшчыка і дагавора.

On-prem AI — inference выконваецца, а ключавыя даныя знаходзяцца ў інфраструктуры арганізацыі. Больш кантролю над кампанентамі і сеткавымі патокамі, але ўся эксплуатацыя становіцца вашай адказнасцю.

Hybrid AI — даныя і функцыі падзеленыя. Напрыклад, закрытыя дакументы і retrieval застаюцца ў private-контуры, а абязлічаная задача ідзе ў cloud-мадэль; або асноўны inference працуе лакальна, а cloud выкарыстоўваецца для дазволеных складаных выпадкаў.

Hybrid — не аўтаматычны кампраміс. Мяжу паміж контурамі павінна быць магчыма даказаць: якія палі ідуць вонкі, хто іх ачышчае, ці можна аднавіць зыходныя даныя, што трапляе ў логі.

Пачніце з класіфікацыі даных

Складзіце спіс патокаў, а не адну пазнаку «канфідэнцыйна»:

  • карыстальніцкі ўвод;
  • сістэмны prompt;
  • знойдзеныя фрагменты дакументаў;
  • гісторыя дыялогу;
  • tool calls і адказы інтэграцый;
  • embeddings;
  • логі і трасіроўкі;
  • наборы для eval;
  • рэзервовыя копіі.

Для кожнага патоку вызначце ўладальніка, дапушчальныя юрысдыкцыі і пастаўшчыкоў, тэрмін захоўвання, правы карыстальнікаў і спосаб выдалення. Часам галоўны дакумент нельга адпраўляць у cloud, але здабытыя неадчувальныя прыкметы можна. Часам нават факт існавання запыту закрыты.

Параўноўвайце якасць на сваёй задачы

Лакальная мадэль, якая фармальна змяшчаецца на даступны GPU, можа горш выконваць доўгія інструкцыі, tool use ці працаваць з рускай мовай. Cloud-мадэль можа быць якаснейшай, але недапушчальнай для часткі даных.

Патрэбны адзін eval-набор і мінімум дзве дапушчальныя архітэктуры. Вымярайце task success, grounding, правы, latency і кошт. Не выбірайце мадэль паводле памеру, лідарборда ці прыгожага агульнага benchmark.

On-prem не адмяняе zero trust

NIST SP 800-207 наўпрост аддзяляе давер ад сеткавага размяшчэння. Сервер унутры офіса ўсё адно патрабуе ідэнтычнасцей карыстальнікаў і сэрвісаў, мінімальных правоў, сегментацыі, журналаў і праверкі кожнага запыту.

Калі агульны endpoint лакальнай мадэлі даступны ўсім унутраным дадаткам, ён можа стаць зручным каналам здабывання даных. Калі embeddings і логі ляжаць «унутры», але без ACL, перыметр не ратуе ад памылковага доступу супрацоўніка ці скампраметаванага сэрвісу.

Хто будзе эксплуатаваць контур

Для on-prem трэба сумленна прызначыць уладальнікаў:

  • абнаўленняў драйвераў, runtime і мадэляў;
  • CVE і ланцужка паставак;
  • capacity planning;
  • маніторынгу GPU, latency, памылак і чэргаў;
  • рэзервавання і аднаўлення;
  • eval перад абнаўленнем;
  • рэагавання на інцыдэнт.

NVIDIA NIM, напрыклад, прадугледжвае liveness/readiness і метрыкі, але наяўнасць endpoint не стварае аперацыйнага працэсу сама па сабе. Хтосьці павінен сачыць, каб сэрвіс быў не проста «жывы», а гатовы прымаць запыты і выдаваў дапушчальную якасць.

Матрыца выбару

ФактарCloudHybridOn-prem
Хуткасць першага пілотаЗвычайна высокаяСярэдняяЗвычайна ніжэйшая
Выбар моцных мадэляўШырокіШырокі для дазволеных патокаўАбмежаваны інфраструктурай
Кантроль кампанентаўАбмежаваны пастаўшчыкомПадзеленыМаксімальны
Эластычнасць нагрузкіЗвычайна высокаяЗалежыць ад мяжыТрэба планаваць магутнасці
Эксплуатацыйная нагрузкаНіжэйшая, але не нуляваяВысокая праз два контурыМаксімальная
Data residencyПаводле ўмоў правайдараНаладжваецца паводле патокаўПад кантролем арганізацыі
Цана пры нізкай загрузцыЧаста выгаднейСкладаней лічыцьРызыка дарагога прастою
Exit planЗалежыць ад API і даныхПатрэбны для абедзвюх частакЗалежыць ад hardware/runtime

Практычны спосаб прыняць рашэнне

  1. Выберыце адзін працэс, не «AI для ўсёй кампаніі».
  2. Намалюйце поўны data flow.
  3. Зафіксуйце забароны і абавязковыя патрабаванні.
  4. Адкіньце архітэктуры, якія ім не адпавядаюць.
  5. Астатнія праверце на адным eval-наборы і профілі нагрузкі.
  6. Падлічыце трохгадовы TCO, уключаючы людзей і прастой.
  7. Праверце failure mode: што адбываецца пры недаступнасці мадэлі ці сеткі.
  8. Апішыце змену пастаўшчыка і вяртанне даных.

Часам выснова будзе «cloud з enterprise-наладамі». Часам — закрыты on-prem. Часта — hybrid з вельмі невялікай дазволенай мяжой. Важна, каб рашэнне вынікала з патрабаванняў, а не з адчування, што сервер ва ўласнай стойцы аўтаматычна бяспечны.

Параўнанне

Параўнанне AI-контураў

ФактарCloudHybridOn-prem
ПілотХуткаСярэднеЗвычайна даўжэй
Кантроль кампанентаўУ правайдараПадзеленыУ арганізацыі
ЭластычнасцьВысокаяЗалежыць ад мяжыТрэба планаваць
ЭксплуатацыяНіжэйшая, але не нуляваяСкладанейМаксімальная

Што праверыць

Да выбару размяшчэння

  1. Раскласці паводле патокаў prompt, дакументы, embeddings, логі і eval.
  2. Зафіксаваць уладальніка, тэрмін захоўвання і дапушчальнага правайдара.
  3. Праверыць якасць і latency на сваіх задачах.
  4. Прызначыць уладальнікаў абнаўленняў, CVE, маніторынгу і recovery.
  5. Апісаць маштабаванне і выхад з выбранага контуру.

Як мы падыходзім да задачы

CENTURY разглядае private AI як аперацыйную адказнасць. Сеткавае размяшчэнне не замяняе ідэнтычнасці, мінімальных правоў, журнала, сегментацыі і праверкі ланцужка паставак.

Крыніцы і спасылкі