Галоўнае
Параўноўвайце cloud, hybrid і on-prem паводле трохгадовага TCO і дзяліце яго на паспяховыя карысныя задачы, а не на токены. Нізкая цана inference нявыгадная, калі мадэль часцей памыляецца ці прастойвае.
Самы небяспечны разлік private AI змяшчаецца ў адным радку: «сервер каштуе X, значыць праз Y месяцаў ён таннейшы за API». У гэтай формуле сервер працуе кругласутачна, ніколі не ламаецца, не патрабуе інжынераў, ідэальна загружаны і праз тры гады застаецца сучасным.
Рэальны TCO пачынаецца там, дзе заканчваецца цана GPU.
Што ўключыць у разлік
1. Інфраструктура
GPU, CPU, RAM, хуткія дыскі, сетка, стойка, рэзервовае сілкаванне. Калі патрэбны SLA, адной машыны недастаткова: абслугоўванне і адмова не павінны спыняць працэс.
2. Электрычнасць і ахаладжэнне
Лічыць трэба спажыванне ўсёй сістэмы пад рэальнай нагрузкай, а не TDP адной карты. Дадайце ахаладжэнне і страты інфраструктуры. Пры размяшчэнні ў офісе з'яўляюцца шум, цяпло і абмежаванні электрасеткі.
3. Праграмны стэк
Драйверы, inference runtime, gateway, аўтэнтыфікацыя, observability, vector database, storage, backup, сканаванне вобразаў. Частка кампанентаў бясплатная паводле ліцэнзіі, але не бясплатная ў эксплуатацыі.
4. Людзі
Platform/DevOps, ML/LLM engineering, security, support і ўладальнік прадукту. Нават калі абавязкі размеркаваныя паміж наяўнай камандай, гэта час з альтэрнатыўным коштам.
5. Абнаўленні і eval
Новая мадэль не павінна аўтаматычна замяняць старую. Патрэбныя загрузка і праверка артэфактаў, сумяшчальнасць, кантрольны набор, нагрузачны тэст, rollout і rollback.
6. Рэзерв і прастой
Калі сервер загружаны на 20%, вы плаціце за астатнія 80%. Калі загрузка вырасла ў тры разы на тыдзень, on-prem не становіцца эластычным сам. Трэба загадзя купляць запас або мець overflow у cloud.
7. Рызыка і кошт памылкі
Танны inference нявыгадны, калі слабая мадэль стварае больш ручной праверкі ці няправільных дзеянняў. У TCO ўваходзіць не толькі кошт адказу, але і кошт завершанай карыснай задачы.
Формула, якую можна змясціць у табліцу
Для гарызонту ў тры гады:
TCO = CAPEX + энергія + размяшчэнне + ліцэнзіі + эксплуатацыйная каманда + абнаўленні + рэзерв + кошт прастояў + кошт ручной праверкі + выхад/утылізацыя
Затым дзяліце не на колькасць токенаў, а на аб'ём паспяховых задач:
кошт карыснай задачы = TCO / колькасць задач, якія прайшлі quality gate
Калі адна архітэктура адказвае танней, але часцей адпраўляе вынік на ручную перапрацоўку, цана запыту ўводзіць у зман.
Тры профілі нагрузкі
Рэдкія і непрадказальныя запыты. Cloud часта выгаднейшы: вы не трымаеце дарагі рэзерв дзеля некалькіх пікаў.
Стабільная высокая загрузка. On-prem можа выйграць, калі абсталяванне сапраўды выкарыстоўваецца, мадэль дастаткова якасная, а аперацыйная каманда ўжо існуе.
Закрытая базавая нагрузка плюс рэдкія складаныя задачы. Hybrid дазваляе трымаць адчувальны ці прадказальны паток лакальна, а дазволены overflow адпраўляць у знешні контур.
Не пераносьце выснову аднаго профілю на іншы.
Правядзіце вымярэнне, а не спрэчку
Да закупкі правядзіце кароткі sizing-пілот:
- Збярыце размеркаванне даўжыні ўваходу і выхаду.
- Зафіксуйце адначасовыя запыты і дапушчальную чаргу.
- Вымерайце p50/p95 latency, throughput і памылкі на патрэбнай мадэлі.
- Правядзіце eval якасці.
- Змадэлюйце звычайны дзень, пік і адмову вузла.
- Падлічыце utilization і headroom.
NVIDIA публікуе асобныя sizing-рэкамендацыі для enterprise RAG менавіта таму, што вынік залежыць ад мадэлі, retrieval, паралелізму і профілю запытаў. Універсальнай цаны «аднаго on-prem AI» няма.
Схаваныя артыкулы выдаткаў
- Пераход на новую GPU-архітэктуру ці несумяшчальны runtime.
- Захоўванне некалькіх мадэляў і версій індэксаў для rollback.
- Закрыты registry і праверка supply chain.
- Нагрузачныя тэсты пасля кожнага істотнага змянення.
- Аддалены доступ падтрымкі без ператварэння яго ў пралом.
- Аднаўленне пасля збою дыска ці памылковай пераіндэксацыі.
- Compliance і ўнутраныя ўзгадненні.
- Secure disposal назапашвальнікаў і мадэляў напрыканцы цыкла.
Для кожнага артыкула выдаткаў запішыце дапушчэнне і ўладальніка ацэнкі. Не ўсе выдаткі прымяняльныя да кожнага контуру, але выключэнне павінна быць растлумачанае: іначай параўноўваюцца прапановы з розным складам работ.
Як параўноўваць прапановы падрадчыкаў
Папрасіце адзін і той жа трохгадовы шаблон:
- чаканая нагрузка і рост;
- мадэль і вымераная якасць;
- неабходнае абсталяванне і рэзерв;
- SLA і акно абнаўленняў;
- ролі і гадзіны суправаджэння;
- кошт ліцэнзій і знешніх API;
- RTO/RPO;
- план пашырэння і exit plan.
Прапанова «купіце дзве карты і ўсё запрацуе» не таннейшая. Яна проста пераносіць невядомыя выдаткі на перыяд пасля заключэння дагавора.
Калі TCO ўсё адно не галоўны крытэрый
Калі палітыка даных выключае знешнюю апрацоўку, вы выбіраеце сярод дапушчальных private-архітэктур, а не параўноўваеце іх з забароненым cloud. Калі бізнес не можа ўтрымліваць патрэбную каманду, тэхнічна танны on-prem можа быць аперацыйна немагчымым.
TCO дапамагае выбраць паміж дапушчальнымі варыянтамі. Ён не адмяняе бяспеку, якасць і здольнасць кампаніі рэальна падтрымліваць сістэму.
Параўнанне
Артыкулы TCO
| Блок | Што лічыць |
|---|---|
| Інфраструктура | GPU, CPU, RAM, storage, сетка, рэзерв |
| Эксплуатацыя | DevOps/ML/Security, абнаўленні і маніторынг |
| Нагрузка | Utilization, пікі, чарга, overflow |
| Рызыка | Прастоі, ручная перапрацоўка, адмова і exit |
Што праверыць
Як правесці sizing-пілот
- Вымераць размеркаванне даўжыні ўваходу і выхаду.
- Зафіксаваць адначасовасць, чаргу і SLA.
- Вымераць p50/p95 latency, throughput і памылкі.
- Правесці eval якасці і праверку профілю адмовы.
- Разлічыць звычайны дзень, пік і адмову вузла.
Як мы падыходзім да задачы
Мы не выдаём цану аднаго GPU за эканоміку private AI. Спачатку лічым рабочую нагрузку, якасць, рэзерв, абслугоўванне і кошт карыснай задачы; толькі потым параўноўваем дапушчальныя контуры.