Рэкамендацыі могуць атрымліваць больш клікаў і пры гэтым горш выконваць задачу прадукту. Карыстальнік адкрывае прапанаваны тавар, але не купляе яго; чытае яркі загаловак, але не знаходзіць патрэбнага адказу; выбірае навучальны матэрыял, які не дапамагае засвоіць тэму.

Таму да навучання мадэлі трэба вызначыць, які вынік лічыцца карысным і якія абмежаванні нельга парушаць дзеля яго росту.

Агляд рэкамендацыйных сістэм Google апісвае задачу персанальнага адбору кантэнту. Для ўкаранення гэтага недастаткова: спатрэбіцца звязаць назіраныя паводзіны з мэтай канкрэтнага сэрвісу.

Выбраць вынік, які мае сэнс пасля кліку

Для крамы гэта можа быць завершаная пакупка з улікам вяртанняў і даступнасці тавару. Для базы ведаў — знойдзены адказ і завершаная аперацыя. Для навучання — выкананне наступнага задання і правяральнае засваенне матэрыялу.

Вызначце асноўную метрыку і ахоўныя паказчыкі. Калі аптымізуецца пакупка, назірайце за вяртаннямі і скаргамі. Калі хуткасць знаходжання адказу — за памылковымі рашэннямі пасля чытання. Для кожнай метрыкі ўкажыце перыяд, адзінку назірання і правіла звязвання падзеі з паказанай рэкамендацыяй.

Не выкарыстоўвайце адкладзены вынік раней, чым ён паспеў праявіцца. Параўнанне вяртанняў на другі дзень пасля пакупкі з вяртаннямі за поўны месяц стварае няроўныя ўмовы.

Клік залежыць ад месца паказу

Карыстальнік не выбірае з усяго каталога: ён рэагуе на тое, што яму паказалі. Прадмет на першай пазіцыі мае іншую магчымасць быць заўважаным, чым прадмет у канцы спіса.

Праца Joachims, Swaminathan і Schnabel пра зрушаную зваротную сувязь разбірае праблему пазіцыйнага зрушэння ў даных пра клікі. Практычнае наступства для прадукту: журнал паказаў патрэбны разам з журналам дзеянняў. Адсутнасць кліку па непаказаным аб'екце нельга трактаваць як устаноўленую адсутнасць цікавасці.

Захоўвайце ідэнтыфікатар запыту рэкамендацый, набор даступных кандыдатаў, паказаны парадак і наступныя падзеі. Доступ да гэтых журналаў і тэрміны захоўвання вызначаюць паводле задачы і патрабаванняў да даных.

Калі сістэма вучыцца толькі на ўласных мінулых паказах, папулярныя аб'екты могуць зноў атрымліваць больш магчымасцей для ўзаемадзеяння. Механізм знаёмства з новымі аб'ектамі варта праектаваць асобна і правяраць з абмежаваннем рызыкі для карыстальніка.

Пачаць са зразумелага варыянта параўнання

Складаную мадэль карысна параўнаць з простым падыходам: папулярнае ў адпаведнай катэгорыі, працяг бягучага сцэнарыя або ручныя правілы падбору. Такі варыянт павінен выконваць тыя ж абмежаванні даступнасці, цаны і правоў, што і новая сістэма.

Для новага карыстальніка можна прапанаваць выбар інтарэсаў або выкарыстоўваць кантэкст бягучай задачы. Не трэба прыдумляць падрабязны профіль па адным дзеянні. Для новага аб'екта карысныя карэктныя атрыбуты і асобны спосаб атрымаць першыя назіранні.

Публікацыя пра аналіз эстэтычных пераваг з дапамогай нейрасетак адносіцца да даследчай пастаноўкі задачы. Сістэма, якая прадказвае ўзаемадзеянне з выявай, не атрымлівае з гэтага аб'ектыўную меру прыгажосці або дакладны псіхалагічны партрэт чалавека.

Як арганізаваць праверку

Этап Што параўноўваць Тыповая прычына няправільнай высновы
Праверка на гістарычных даных Якасць на даных, не выкарыстаных для наладкі У навучанне трапілі будучыя падзеі
Праверка правіл Даступнасць аб'ектаў, правы, выключэнні, ліміты Мадэль прапануе недапушчальны аб'ект
Абмежаваны эксперымент Загадзя вызначаны дзелавы вынік Групы адрозніваюцца ўмовамі або змешваюцца
Назіранне пасля запуску Якасць па сегментах і адкладзеныя наступствы Сярэдняе хавае пагаршэнне для часткі карыстальнікаў

Пры падзеле па часе захавайце рэальную паслядоўнасць з'яўлення даных. Прыкмета, якой яшчэ не было ў момант рэкамендацыі, не павінна дапамагаць мадэлі ў гістарычным тэсце.

У эксперыменце загадзя вызначце адзінку размеркавання па групах. Калі адзін чалавек рэгулярна карыстаецца сэрвісам, незалежнае пераключэнне варыянта на кожнай старонцы можа змешваць уплыў. Аб'ём назіранняў і спосаб ацэнкі нявызначанасці залежаць ад гэтай структуры.

Прыклад рашэння паводле вынікаў

Дапусцім, у выдуманым эксперыменце клікабельнасць вырасла з 5% да 7%, а доля завершаных пакупак сярод карыстальнікаў з паказам зменшылася з 2% да 1,8%. Гэтыя лічбы самі па сабе яшчэ не ўстанаўліваюць статыстычна ўстойлівага эфекту: патрэбныя аб'ём выбаркі і ацэнка нявызначанасці.

Але ўжо нельга даць справаздачу аб поспеху толькі на падставе росту клікаў. Варта праверыць, якія аб'екты атрымалі паказы, ці выконваліся абмежаванні і ці не пагоршылася адпаведнасць мэце карыстальніка. Пры недахопе даных рашэнне адкладаюць; пры пацверджанай шкодзе вяртаюць папярэдні варыянт.

Для кожнага выпуску захоўвайце версію мадэлі, прыкмет, каталога і правіл. Убудаваны рэзервовы падбор павінен заставацца карысным, калі персанальная рэкамендацыя недаступная або даных занадта мала.

Вынік укаранення — узнаўляльнае паляпшэнне выбранай аперацыі ў вядомых умовах. Адзін прыгожы прыклад персанальнага трапляння гэтага не даказвае.