Мадэль хутчэй адказвае на кароткі запыт, але часцей патрабуе паўторнай спробы. Іншая павольней пачынае генерацыю, затое ўкладаецца ў патрабаванні на доўгіх дакументах. Параўнанне паводле аднаго часу адказу не паказвае, якая канфігурацыя лепш выканае працоўную задачу.

Для выбару патрэбны пратакол выпрабаванняў: аднолькавыя ўваходныя даныя, вызначаны вынік, абмежаванні якасці і нагрузкі, зафіксаваныя налады. Цана і энергія набываюць сэнс у межах гэтых умоў.

Параўноўваць канфігурацыі на адной аперацыі

Вызначце, што лічыцца завершаным заданнем: карэктна здабытыя палі, прыняты адказ або дакумент, які прайшоў праверкі. Захавайце набор уваходных даных і спосаб ацэньвання. Раздзяліце матэрыял для наладжвання і выніковай праверкі.

Удзельнікам параўнання з'яўляецца ўся канфігурацыя: мадэль, промпт, інструменты, падрыхтоўка даных і правілы паўтораў. Калі аднаму варыянту дазволены дадатковы пошук, а іншаму не, гэта параўнанне сістэм з рознымі магчымасцямі. Яго можна праводзіць, але адрозненне трэба пазначыць.

Парог якасці, дапушчальную затрымку і абавязковыя абмежаванні ўстанаўліваюць да выпрабавання. Хуткі варыянт, які не выконвае патрабаванні аперацыі, не становіцца пераможцам праз нізкі кошт.

Тэма рэсурсных абмежаванняў нейрасетак разглядаецца ў публікацыі 2023 года. Для рашэння пра канкрэтную сістэму патрэбныя ўласныя вымярэнні: агульныя разважанні пра рост вылічэнняў не вызначаюць яе працоўную эфектыўнасць.

Зафіксаваць умовы запуску

У пратакол уключаюць версіі кампанентаў, параметры генерацыі, апаратную канфігурацыю або ідэнтыфікатар сэрвісу, памеры ўваходных даных і правілы кэшавання. Халодны запуск і прагрэты рэжым правяраюць асобна, калі абодва сустракаюцца ў эксплуатацыі.

Спачатку вымерайце выкананне адзінкавых заданняў, затым паўтарыце тэст пры чаканай паралельнасці і ў рэжыме перагрузкі. У карыстальніцкую затрымку ўключайце чаканне чаргі, звароты да інструментаў і падрыхтоўку выніку.

Хуткасць у токенах за секунду карысная для дыягностыкі, але не заўсёды супастаўная паміж мадэлямі: аб'ём і спосаб падзелу тэксту адрозніваюцца. Для прыкладнога выбару важнейшы час завершанай аперацыі з прынятым вынікам.

Не абмяжоўвайцеся адным прагонам. Паўторы паказваюць роскід якасці і затрымкі. Для знешняга сэрвісу фіксуйце дату і даступныя звесткі пра версію; нязменная назва мадэлі не заўсёды дае поўны кантроль над унутранай рэалізацыяй.

Прыклад, дзе танны варыянт не адпавядае патрабаванням

Ніжэй — умоўны тэст з 1 000 заданняў. Да запуску ўстаноўлена: не менш за 95% прынятых вынікаў на гэтым тэсце і p95 поўнай затрымкі не больш за 10 секунд. Гэта ілюстрацыйныя патрабаванні, не рэкамендацыя для любога прадукту. p95 азначае, што прыкладна 95% вымераных затрымак не перавышаюць пазначанае значэнне.

Паказчык Канфігурацыя A Канфігурацыя B
Прынятыя вынікі 960 800
p95 поўнай затрымкі 9 секунд 4 секунды
Кошт машыннага прагону 30 умоўных грашовых адзінак 18 умоўных грашовых адзінак
Выдаткі прагону на прыняты вынік 0,03125 0,0225

B таннейшая і хутчэйшая, але не выконвае ўстаноўленую ўмову якасці. На гэтым этапе параўнання яна не падыходзіць для самастойнага выканання ўсёй аперацыі.

Нельга незаўважна дадаць B выпраўленне чалавекам і пакінуць ранейшы кошт. У такім выпадку атрымаецца новая канфігурацыя, для якой паўторна вымяраюць поўны цыкл, выдаткі і якасць.

Нават выкананне парога на 1 000 заданнях не даказвае яго захаванне на любым будучым патоку. Ацаніце нявызначанасць і ахоп важных класаў уваходных даных; рэдкія крытычныя памылкі правяраюць асобна.

Вымяраць энергію ў яўных межах

Энергія — гэта назапашанае спажыванне за інтэрвал працы. Для параўнання задайце, якія кампаненты ўваходзяць у вымярэнне: паскаральнік, увесь сервер, сетка, захоўванне і іншыя неабходныя часткі.

Паказчык магутнасці адной GPU не роўны энергазатратам усёй аперацыі. Значэнне пашпартнай магутнасці таксама не з'яўляецца вымераным расходам. На ўласным стэндзе выкарыстоўвайце даступныя вымярэнні з вядомымі адзінкамі і частатой; пазначайце, ці ўключаны прастой і як размеркаваны агульныя выдаткі.

MLPerf Power прапануе метадалогію супастаўнага вымярэння энергетычнай эфектыўнасці ML-сістэм. Апісаны тут прыкладны тэст не з'яўляецца сертыфікаваным прагонам MLPerf і не замяняе яго правілаў.

Для знешняга API без тэлеметрыі пастаўшчыка нельга сумленна вылічыць энергію запыту з колькасці токенаў. У гэтым выпадку фіксуйце невядомасць, а даступны кошт вымярайце асобна. Вугляродны след запатрабуе дадатковых звестак пра энергазабеспячэнне і межы ўліку.

Як аформіць рашэнне

Захавайце зыходныя заданні, крытэрыі прыёмкі, налады, вынікі асобных спроб і зводку па класах уваходных даных. У рашэнні пазначце, які варыянт выканаў абмежаванні і ў якіх умовах праводзілася праверка.

Поўны кошт валодання разглядаецца асобна ў артыкуле пра TCO private AI. Пратакол выпрабаванняў дае для такога разліку вымераныя характарыстыкі і дапамагае не падмяніць карысную працу колькасцю генерацый.

Пасля змены мадэлі, маршрутызацыі або нагрузкі паўтарыце значную частку тэсту. Выбар адносіцца да зафіксаванай канфігурацыі; ён не з'яўляецца бестэрміновай уласцівасцю назвы мадэлі.