Почему одной модели недостаточно
Быстрый ответ на типовой вопрос, разбор длинного документа и многошаговое действие через интеграцию предъявляют разные требования. Самая крупная модель не всегда даёт лучший бизнес-результат: она может быть медленнее и дороже там, где достаточно простого маршрута.
Мы оцениваем сценарий по четырём осям: точность на реальных примерах, задержка ответа, поддерживаемый контекст и прогнозируемая стоимость использования.
Как мы подтверждаем доступность
Сначала сверяем название, статус и ограничения с официальной документацией провайдера. Затем проверяем, что модель действительно доступна в рабочей конфигурации CENTURY и проходит наш набор тестовых сценариев. Только после двух проверок название можно показывать клиенту как доступный вариант.
При подготовке этой статьи мы убрали прежний перечень конкретных моделей: сайт не должен опережать фактическую конфигурацию продукта. Актуальный выбор отображается внутри рабочего пространства CENTURY во время настройки.
Что проверяем перед включением
Для клиентских диалогов мы повторяем одинаковые тесты: вопрос по базе знаний, неоднозначный запрос, отказ от выдуманного факта, корректная передача человеку и работа с подключённым действием. Смена модели не считается улучшением, если она выигрывает только на демонстрационном примере.
- Фактическая доступность у провайдера и в CENTURY.
- Качество на сценариях конкретного бизнеса, а не на абстрактном рейтинге.
- Задержка, стоимость и устойчивость при повторных запросах.
- Безопасный отказ и передача человеку там, где данных недостаточно.