Галоўнае
Перадавайце задачу чалавеку пры высокай цане памылкі, недахопе доказаў, выхадзе за ўзгоднены працэс, паўтаральным збоі, канфлікце правоў або яўнай просьбе карыстальніка. Перадача завершана толькі пасля надзейнага запісу задачы і прызначэння ўладальніка.
Фраза «пры неабходнасці падключым аператара» гучыць заспакаяльна, але нічога не праектуе. Хто вызначае неабходнасць? Што ўбачыць аператар? Хто адказвае карыстальніку, пакуль задача ляжыць у чарзе? Што адбудзецца, калі чалавек і агент адначасова працягнуць працу?
Human handoff — гэта не кнопка ў інтэрфейсе. Гэта паўнавартасны пераход стану з уладальнікам, данымі, тэрмінам і правіламі вяртання.
Калі перадача абавязковая
Не варта будаваць handoff толькі на «ўпэўненасці мадэлі». Лік 0,81 не азначае, што дзеянне бяспечнае, а 0,49 — што адказ абавязкова няправільны. Надзейней спалучаць некалькі прычын.
Цана памылкі. Плацеж, змена дагавора, доступаў, медыцынская або юрыдычна значная рэкамендацыя не павінны станавіцца аўтаномнымі толькі таму, што мадэль адказала ўпэўнена.
Недахоп доказаў. Калі карпаратыўны пошук не знайшоў дазволеную крыніцу або крыніцы супярэчаць адна адной, агент павінен сумленна спыніцца.
Выхад за ўзгоднены працэс. Карыстальнік просіць дзеянне, для якога няма інструмента, палітыкі або адказнага ўладальніка.
Паўтаральны збой. Тры аднолькавыя таймаўты — не запрашэнне паспрабаваць чацвёрты раз. Гэта сігнал для чалавека або тэхнічнай чаргі.
Яўны запыт карыстальніка. «Паклічце менеджара» не павінна ператварацца ва ўгаворы працягнуць размову з ботам.
Прыкметы канфлікту або ўразлівасці. Спроба змяніць правілы, здабыць закрытыя даныя, абысці паўнамоцтвы або прымусіць агента выканаць нечаканы выклік інструмента.
Што перадаваць чалавеку
Аператару не патрэбны ўвесь неапрацаваны дыялог на пяцьдзясят экранаў. Патрэбны кампактны пакет:
- задача карыстальніка сваімі словамі;
- ужо правераныя факты і спасылкі на крыніцы;
- выкананыя дзеянні і іх вынік;
- прычына спынення;
- наступны дапушчальны крок;
- тэрмін або тэрміновасць;
- важныя абмежаванні і згоды карыстальніка.
Такі пакет эканоміць час і не прымушае чалавека пачынаць расследаванне нанова. Пры гэтым зыходная трасіроўка павінна заставацца даступнай асобна — для спрэчных выпадкаў і аўдыту.
Перадача павінна змяняць уладальніка
Пасля handoff агент не павінен ціха працягваць змяняць даныя. Задача пераходзіць у стан накшталт waiting_for_human або assigned_to_operator, атрымлівае адказнага і блакуе дзеянні, якія канфліктуюць.
Калі аператар вырашыў праблему, магчымыя тры завяршэнні:
- чалавек закрывае задачу;
- чалавек ухваляе адзін канкрэтны крок агента;
- чалавек вяртае агенту задачу з новымі абмежаваннямі.
Нельга выкарыстоўваць расплывістае «працягвай»: лепш захаваць дакладны дазволены план і тэрмін яго дзеяння.
Што паведаміць карыстальніку
Дрэнная фраза: «Ваш запыт перададзены спецыялісту». Яна не дае ні чаканняў, ні наступнага кроку.
Лепш сказаць сумленна:
Я не магу бяспечна завяршыць гэтую аперацыю аўтаматычна: у даных разыходзяцца рэквізіты. Перадаў задачу менеджару разам са знойдзенымі дакументамі. Адказ будзе ў працоўны час на працягу дзвюх гадзін; паўторна адпраўляць запыт не трэба.
Гэта ілюстрацыйны прыклад для чаргі з такім рэжымам працы, а не агульны SLA CENTURY. У паведамленні павінны быць зразумелая прычына, адказны і рэальны тэрмін, які каманда здольная вытрымаць.
Чарга і SLA важнейшыя за прыгожы дыялог
Handoff ламаецца не ў мадэлі, а ў аперацыйнай частцы. Калі чарга жыве толькі ў памяці працэсу, задача знікне пасля перазапуску. Калі няма lease і паўторнага захопу, яна можа назаўсёды застацца ў аператара, які скончыў змену.
Для крытычных працэсаў патрэбна durable queue: задача захоўваецца ў базе, выдаецца выканаўцу на абмежаваны час, пацвярджаецца пасля завяршэння і вяртаецца ў чаргу пры збоі. Менавіта так звычайныя backend-механізмы падтрымліваюць абяцанне «перадалі чалавеку».
Як вымяраць якасць handoff
Не радуйцеся аднаму нізкаму працэнту перадач. Ён можа азначаць, што агент смела памыляецца.
Глядзіце на набор метрык:
- доля абавязковых перадач, якія рэальна адбыліся;
- памылковыя перадачы, дзе агент мог завяршыць задачу сам;
- небяспечныя выпадкі без перадачы;
- час да прыняцця аператарам;
- час да вырашэння;
- доля паўторнага тлумачэння праблемы карыстальнікам;
- дублі знешніх дзеянняў;
- прычыны, з якіх задача вярнулася агенту.
Добры handoff памяншае рызыку і намаганні чалавека. Ён не абавязаны быць рэдкім.
Сцэнарый праверкі
Перад запускам вазьміце 30–50 рэальных сітуацый: звычайныя, памежныя, канфліктныя і наўмысна шкодныя. Для кожнай загадзя адзначце, хто павінен завяршыць задачу — агент або чалавек — і які кантэкст абавязкова павінен быць перададзены. Затым праганяйце набор пасля зменаў мадэлі, інструментаў і палітык.
OpenAI рэкамендуе human intervention як важную абарону для дзеянняў з высокай рызыкай і выпадкаў, калі агент перавышае зададзеныя парогі няўдач. Мы дадаём да гэтага інжынернае патрабаванне: перадача лічыцца выкананай толькі тады, калі задача надзейна запісана, атрымала ўладальніка і перастала аўтаномна змяняць знешні свет.
Параўнанне
Сігналы абавязковай перадачы
| Сігнал | Што адбылося | Дзеянне |
|---|---|---|
| Цана памылкі | Плацеж, дагавор або змена доступу | Спыніць і запытаць approval |
| Няма доказаў | Крыніцы не знойдзены або супярэчаць адна адной | Адмовіцца або перадаць |
| Збой | Паўторны timeout або недаступны API | Паставіць у durable queue |
| Запыт чалавека | Карыстальнік папрасіў менеджара | Прызначыць уладальніка і тэрмін |
Што праверыць
Што павінна трапіць да аператара
- Задача карыстальніка і прычына спынення.
- Правераныя факты і спасылкі на дазволеныя крыніцы.
- Ужо выкананыя дзеянні і іх вынікі.
- Наступны дапушчальны крок і тэрмін адказу.
- Ідэнтыфікатар задачы, які выключае паўторнае выкананне.
Як мы падыходзім да задачы
У нашай архітэктурнай схеме handoff — асобны стан waiting_for_human: захаваны план нельга незаўважна замяніць новай генерацыяй, а задача павінна перажыць перазапуск і змену выканаўцы.