Чат-бот берёт на себя первую линию общения с клиентами: отвечает на типовые вопросы, фиксирует заявки, подсказывает статус заказа. Но без присмотра он начинает выдавать странные ответы, терять контекст или просто молчать в нужный момент. Проверять его работу можно за 15 минут в день, если заранее знать, на что смотреть и какие вопросы задавать логам. Эта статья — практическое руководство для владельца микробизнеса, у которого нет штатного аналитика и времени на разбор десятков диалогов.
С чего начать проверку: три точки контроля
Прежде чем лезть в логи, определите, где бот чаще всего ломается. Обычно это три места: вход в сценарий (бот не понял запрос и ушёл в тупик), середина диалога (потерял контекст или выдал нерелевантный ответ) и передача оператору (не смог маршрутизировать сложный вопрос). Для каждой точки нужна своя метрика и свой способ проверки.
Начните с простого: за последние 7 дней выгрузите 20–30 диалогов и разделите их на три стопки — «всё хорошо», «бот справился криво», «нужен человек». Последних обычно 10–20% от общего потока. Именно они и есть ваш индикатор качества. Если доля «человек нужен» резко выросла — ищите причину: новый тип вопросов, сбой в интеграции, изменение ассортимента.
Какие метрики реально смотреть владельцу бизнеса
Маркетплейсы сервисов и платформ для автоматизации продаж предлагают десятки показателей: от NLU-score до длины сессии. Большинство из них нужны разработчикам, а не вам. Для контроля качества достаточно пяти метрик, которые считаются автоматически и понятны без технической подготовки.
| Метрика | Что показывает | Хороший ориентир |
|---|---|---|
| Доля «бот не понял» | Сколько запросов ушло в тупик или на оператора без причины | ниже 15% |
| Время первого ответа | Как быстро клиент получает реакцию | до 30 секунд в рабочее время |
| Доля завершённых сценариев | Сколько диалогов дошли до цели (заказ, заявка, ответ) | выше 60% |
| Эскалация на оператора | Сколько раз бот сам передал разговор человеку | 10–25% |
| Возврат в течение 24 часов | Сколько клиентов написали снова с тем же вопросом | ниже 8% |
Эти пять цифр дают картину без чтения каждого диалога. Если «Доля завершённых сценариев» падает ниже 50% — пора разбирать логи вручную. Подробный разбор того, как работать с метриками качества ответов, собран в отдельном руководстве — оценка качества ответов чат-бота: метрики для бизнеса.
Как быстро читать логи и не утонуть в диалогах
Логи чат-бота — это сплошной поток текста, в котором легко потеряться. Чтобы за 15 минут найти проблему, отфильтруйте диалоги по трём признакам: длительность больше 5 минут, более 3 сообщений от клиента, упоминание слов «оператор», «живой человек», «не понимаю». Внутри таких диалогов ищите точки сбоя — обычно это конкретная фраза клиента, после которой бот перестал отвечать по теме.
Полезный приём — вести простую таблицу сбоев. В первой колонке пишете фразу клиента, во второй — что ответил бот, в третьей — что должен был ответить. За неделю у вас накопится 10–15 типовых ошибок, и это готовый список доработок для сценария. Не нужно править всё разом — берите топ-3 самых частых и фиксите их в первую очередь.
Типичные ошибки при проверке чат-бота
- Читать диалоги выборочно, а не по фильтрам. Без системы вы видите только те случаи, на которые пожаловались клиенты, и пропускаете тихие сбои.
- Менять сценарий сразу после первого плохого ответа. Один диалог — не тренд, нужно минимум 5–10 похожих случаев, чтобы понять закономерность.
- Игнорировать «тупиковые» ветки. Если бот не предложил альтернативу при непонимании запроса, клиент просто уходит — без жалобы и без возможности узнать причину.
- Смотреть только на текст и забывать про время ответа. Бот, который отвечает правильно, но через 3 минуты, проигрывает по конверсии быстрому, но менее точному конкуренту.
- Проверять бота раз в месяц. За это время накопится 20–30 новых типов вопросов, на которые сценарий не рассчитан.
Когда пора подключать человека, а не править сценарий
Бот — это не замена оператора, а фильтр. Если доля эскалации стабильно выше 25%, это сигнал: либо сценарий перегружен, либо бизнес-процесс сложнее, чем кажется. Не нужно биться за снижение этого показателя любой ценой — часть вопросов по определению требует человека (жалобы, нестандартные заказы, согласования).
Оптимальный путь — настроить в боте мягкую передачу: «Сейчас подключу специалиста, он ответит в течение 2 минут». Клиент не чувствует, что его бросили, а вы получаете время на разбор сложного случая. Кстати, если клиент долго ждёт ответа, можно отправить SMS-уведомление через сервис RocketSMS — так он не уйдёт к конкуренту, пока оператор освободится.
Что делать с результатами проверки
Главный принцип: каждое наблюдение должно превращаться в действие. Заметили, что бот не понимает запросы про сроки доставки — добавьте в сценарий отдельную ветку с типовыми формулировками. Увидели рост повторных обращений — проверьте, выдаёт ли бот финальное сообщение с подтверждением. Не нужно менять всё сразу: одна правка в неделю уже через месяц даст заметный эффект на метриках.
Хороший бот — это не тот, который отвечает на всё, а тот, который честно говорит «не знаю» и передаёт вопрос нужному человеку. Проверяйте его как сотрудника: регулярно, по делу, с понятным результатом. Тогда он станет опорой для бизнеса, а не источником головной боли.
3 шага, которые можно сделать сегодня:
- Выгрузите 20 диалогов за последнюю неделю и разделите их на три категории: «всё хорошо», «бот справился криво», «нужен человек».
- Заведите таблицу сбоев: фраза клиента, ответ бота, что должно было быть — заполняйте 5 минут в день.
- Проверьте настройки эскалации: бот должен предлагать подключение оператора до того, как клиент начнёт злиться.
