Рэкамендацыі могуць атрымліваць больш клікаў і пры гэтым горш выконваць задачу прадукту. Карыстальнік адкрывае прапанаваны тавар, але не купляе яго; чытае яркі загаловак, але не знаходзіць патрэбнага адказу; выбірае навучальны матэрыял, які не дапамагае засвоіць тэму.
Таму да навучання мадэлі трэба вызначыць, які вынік лічыцца карысным і якія абмежаванні нельга парушаць дзеля яго росту.
Агляд рэкамендацыйных сістэм Google апісвае задачу персанальнага адбору кантэнту. Для ўкаранення гэтага недастаткова: спатрэбіцца звязаць назіраныя паводзіны з мэтай канкрэтнага сэрвісу.
Выбраць вынік, які мае сэнс пасля кліку
Для крамы гэта можа быць завершаная пакупка з улікам вяртанняў і даступнасці тавару. Для базы ведаў — знойдзены адказ і завершаная аперацыя. Для навучання — выкананне наступнага задання і правяральнае засваенне матэрыялу.
Вызначце асноўную метрыку і ахоўныя паказчыкі. Калі аптымізуецца пакупка, назірайце за вяртаннямі і скаргамі. Калі хуткасць знаходжання адказу — за памылковымі рашэннямі пасля чытання. Для кожнай метрыкі ўкажыце перыяд, адзінку назірання і правіла звязвання падзеі з паказанай рэкамендацыяй.
Не выкарыстоўвайце адкладзены вынік раней, чым ён паспеў праявіцца. Параўнанне вяртанняў на другі дзень пасля пакупкі з вяртаннямі за поўны месяц стварае няроўныя ўмовы.
Клік залежыць ад месца паказу
Карыстальнік не выбірае з усяго каталога: ён рэагуе на тое, што яму паказалі. Прадмет на першай пазіцыі мае іншую магчымасць быць заўважаным, чым прадмет у канцы спіса.
Праца Joachims, Swaminathan і Schnabel пра зрушаную зваротную сувязь разбірае праблему пазіцыйнага зрушэння ў даных пра клікі. Практычнае наступства для прадукту: журнал паказаў патрэбны разам з журналам дзеянняў. Адсутнасць кліку па непаказаным аб'екце нельга трактаваць як устаноўленую адсутнасць цікавасці.
Захоўвайце ідэнтыфікатар запыту рэкамендацый, набор даступных кандыдатаў, паказаны парадак і наступныя падзеі. Доступ да гэтых журналаў і тэрміны захоўвання вызначаюць паводле задачы і патрабаванняў да даных.
Калі сістэма вучыцца толькі на ўласных мінулых паказах, папулярныя аб'екты могуць зноў атрымліваць больш магчымасцей для ўзаемадзеяння. Механізм знаёмства з новымі аб'ектамі варта праектаваць асобна і правяраць з абмежаваннем рызыкі для карыстальніка.
Пачаць са зразумелага варыянта параўнання
Складаную мадэль карысна параўнаць з простым падыходам: папулярнае ў адпаведнай катэгорыі, працяг бягучага сцэнарыя або ручныя правілы падбору. Такі варыянт павінен выконваць тыя ж абмежаванні даступнасці, цаны і правоў, што і новая сістэма.
Для новага карыстальніка можна прапанаваць выбар інтарэсаў або выкарыстоўваць кантэкст бягучай задачы. Не трэба прыдумляць падрабязны профіль па адным дзеянні. Для новага аб'екта карысныя карэктныя атрыбуты і асобны спосаб атрымаць першыя назіранні.
Публікацыя пра аналіз эстэтычных пераваг з дапамогай нейрасетак адносіцца да даследчай пастаноўкі задачы. Сістэма, якая прадказвае ўзаемадзеянне з выявай, не атрымлівае з гэтага аб'ектыўную меру прыгажосці або дакладны псіхалагічны партрэт чалавека.
Як арганізаваць праверку
| Этап | Што параўноўваць | Тыповая прычына няправільнай высновы |
|---|---|---|
| Праверка на гістарычных даных | Якасць на даных, не выкарыстаных для наладкі | У навучанне трапілі будучыя падзеі |
| Праверка правіл | Даступнасць аб'ектаў, правы, выключэнні, ліміты | Мадэль прапануе недапушчальны аб'ект |
| Абмежаваны эксперымент | Загадзя вызначаны дзелавы вынік | Групы адрозніваюцца ўмовамі або змешваюцца |
| Назіранне пасля запуску | Якасць па сегментах і адкладзеныя наступствы | Сярэдняе хавае пагаршэнне для часткі карыстальнікаў |
Пры падзеле па часе захавайце рэальную паслядоўнасць з'яўлення даных. Прыкмета, якой яшчэ не было ў момант рэкамендацыі, не павінна дапамагаць мадэлі ў гістарычным тэсце.
У эксперыменце загадзя вызначце адзінку размеркавання па групах. Калі адзін чалавек рэгулярна карыстаецца сэрвісам, незалежнае пераключэнне варыянта на кожнай старонцы можа змешваць уплыў. Аб'ём назіранняў і спосаб ацэнкі нявызначанасці залежаць ад гэтай структуры.
Прыклад рашэння паводле вынікаў
Дапусцім, у выдуманым эксперыменце клікабельнасць вырасла з 5% да 7%, а доля завершаных пакупак сярод карыстальнікаў з паказам зменшылася з 2% да 1,8%. Гэтыя лічбы самі па сабе яшчэ не ўстанаўліваюць статыстычна ўстойлівага эфекту: патрэбныя аб'ём выбаркі і ацэнка нявызначанасці.
Але ўжо нельга даць справаздачу аб поспеху толькі на падставе росту клікаў. Варта праверыць, якія аб'екты атрымалі паказы, ці выконваліся абмежаванні і ці не пагоршылася адпаведнасць мэце карыстальніка. Пры недахопе даных рашэнне адкладаюць; пры пацверджанай шкодзе вяртаюць папярэдні варыянт.
Для кожнага выпуску захоўвайце версію мадэлі, прыкмет, каталога і правіл. Убудаваны рэзервовы падбор павінен заставацца карысным, калі персанальная рэкамендацыя недаступная або даных занадта мала.
Вынік укаранення — узнаўляльнае паляпшэнне выбранай аперацыі ў вядомых умовах. Адзін прыгожы прыклад персанальнага трапляння гэтага не даказвае.