Контроль качества звонков: выборка, чек-лист, цена

Контроль качества звонков приносит пользу, когда показывает не абстрактную оценку менеджера, а стоимость обращений, после которых вопрос клиента остался решён не полностью. Для этого недостаточно прослушать несколько удобных записей: нужны репрезентативная выборка, единые трактовки чек-листа и правовой фильтр допустимости записи. Автоматизация расширяет охват, но решения о премиях, штрафах, увольнениях и изменении скриптов должны оставаться за человеком.

Если процесс уже понятен и нужен разбор под свои обращения — это внедрение ИИ-агентов.

Почему высокий средний балл не означает, что контроль работает

Типовая система выглядит убедительно: отдел контроля качества слушает звонки, заполняет чек-листы и строит рейтинг менеджеров. Средняя оценка постепенно растёт, но доля повторных обращений, конверсия и выручка не меняются.

Причина в том, что средний балл часто измеряет соответствие форме разговора, а не результат для клиента и бизнеса. Менеджер может правильно представиться, обратиться по имени и произнести обязательные фразы, но не выяснить задачу, дать неполный ответ или закончить звонок без конкретного следующего шага. Формально хороший разговор остаётся экономически нерешённым.

В проектах Excella по внедрению AI-аналитики диалогов повторяются три сбоя ручного контроля:

• проверяющие выбирают звонки, которые проще найти, либо слушают только жалобы;
• одинаковые реплики получают разные оценки у руководителя, специалиста контроля и менеджера;
• итоговый балл не связан с повторным обращением, следующим шагом по сделке или потерянной маржой.

Это практические наблюдения из клиентских внедрений, а не отраслевой количественный бенчмарк. Их задача — показать механизм проблемы, а не обещать одинаковый результат любой компании.

Международный отраслевой опрос 2025 года подтверждает сам запрос на изменение подхода: 44,3% руководителей хотели бы прежде всего перейти к автоматической проверке или контролю в реальном времени, а 20,8% — освободить больше времени для анализа и калибровки. Число респондентов в открытой версии не указано, поэтому эти значения показывают направление интереса, но не должны механически переноситься на российский рынок. Источник: отраслевой опрос, раздел контроля качества, стр. 55.

Главный вывод методологии Excella: цель контроля качества звонков — снижать стоимость нерешённых обращений при соблюдении правовых ограничений. Средний балл по чек-листу является диагностикой, а не конечным результатом.

Стоимость нерешённого обращения: как перевести качество звонков в деньги

Нерешённым считается обращение, после которого клиенту приходится звонить повторно по той же причине, обещанный следующий шаг не зафиксирован, вопрос закрыт частично либо компания теряет продолжение сделки из-за ошибки разговора.

Базовая формула расчёта за период:

Стоимость нерешённых обращений = доля звонков с нерешённым вопросом × объём звонков × ожидаемая потеря маржи на одно нерешённое обращение + число повторных контактов × полная стоимость одного контакта

Если компания пока не знает ожидаемую потерю маржи, для первого сценарного расчёта можно подставить среднюю маржу по обращению. Средний чек использовать менее точно: он показывает выручку, а не экономический результат. Если не каждый нерешённый звонок приводит к потере сделки, маржу нужно дополнительно умножить на фактическую долю потерь после таких звонков.

Расчёт строится на данных самой компании:

1. Выберите период и определите общий объём записанных звонков.
2. Зафиксируйте, что именно считается нерешённым вопросом.
3. Найдите повторные обращения по той же причине в установленном временном окне.
4. Рассчитайте полную стоимость повторного контакта: труд менеджера, телефония, инфраструктура и управленческие расходы.
5. Свяжите нерешённые звонки со стадиями сделок, отказами и маржой.
6. Посчитайте базовое значение до изменения чек-листа или запуска автоматизации.

First Contact Resolution (FCR, доля обращений, решённых при первом контакте) следует определять по факту отсутствия повторного обращения, а не по отметке менеджера:

FCR = обращения без повторного контакта по той же причине в заданном окне / все релевантные обращения × 100%

Окно повторного контакта и правило объединения каналов нужно закрепить заранее. Иначе один отдел будет считать повтором только второй звонок, а другой — также письмо или новое обращение через сайт.

Рост средней оценки не означает, что клиентам стало лучше

Если средняя оценка менеджеров выросла, а стоимость нерешённых обращений и доля повторных контактов не снизились, система контроля оптимизирует чек-лист, а не работу с клиентами. Руководителю в таком случае нужно менять критерии и выборку, а не повышать целевой балл.

Ручной, автоматический и гибридный контроль: где заканчивается масштаб и начинается риск

Ручная проверка одного разговора обычно занимает не меньше длительности самого звонка. В отраслевом опросе подразделений контроля качества 25% участников выделяли на оценку время, равное двум средним длительностям обработки, почти половина — более двух. У 43% норматив составлял 8–16 проверок за рабочий день. Размер выборки опроса не опубликован, а среди участников наиболее представлены центры с 51–200 операторами, поэтому значения следует использовать только как ориентир трудоёмкости. Источник: результаты отраслевого опроса подразделений контроля качества.

Рациональная схема для компании — автоматическая первичная разметка всего доступного потока и ручная проверка репрезентативной выборки, спорных случаев и критических нарушений.

Сколько звонков слушать, чтобы вывод выдерживал проверку

Ответ «по несколько звонков каждого менеджера» подходит для обучения, но не для оценки доли нарушений и изменения премии. При случайной выборке из пяти звонков и предполагаемой доле события 0,5 погрешность на уровне доверительной вероятности 95% составляет около ±43,8 процентного пункта:

1,96 × √(0,25 / 5) ≈ 0,438

Такой результат описывает пять выбранных разговоров, но почти ничего не говорит о стабильном качестве работы менеджера. Методика построения доверительного интервала для доли.

Для оценки доли нарушения используется формула:

n₀ = z² × p × (1 − p) / e²

где:

• z — коэффициент доверительной вероятности;
• p — предполагаемая доля события;
• e — допустимая погрешность.

При доверительной вероятности 95%, погрешности ±5 процентных пунктов и консервативном значении p = 0,5 получается примерно 384 звонка. При строгом округлении объём поднимают до следующего целого. Методика расчёта объёма выборки.

Если весь поток за период ограничен, применяется поправка на конечную совокупность:

n = n₀ / (1 + (n₀ − 1) / N)

где N — общее число звонков за период.

Расчётные ориентиры при тех же параметрах:

Эта таблица отвечает на вопрос о доле нарушения во всём потоке. Она не даёт права оценивать каждого менеджера отдельно по общей выборке. Если решение принимается по конкретному сотруднику, достаточная случайная выборка нужна для этого сотрудника либо следует использовать более широкий период и явно показывать погрешность.

Практически выборку следует стратифицировать по менеджерам, типам звонков, результатам, времени суток и продуктам. Нельзя называть репрезентативной подборку только жалоб, длинных разговоров или звонков с низкой автоматической оценкой: это диагностическая выборка, намеренно смещённая в сторону проблем.

Чек-лист из пяти блоков, который разные проверяющие понимают одинаково

Шкала от 1 до 5 провоцирует спор о впечатлении: для одного проверяющего «четыре» означает небольшую неточность, для другого — почти идеальный разговор. Воспроизводимый чек-лист использует бинарные критерии: событие было или его не было. Если критерий неприменим к конкретному типу звонка, ставится отметка «не применимо», и он исключается из знаменателя.

Критические нарушения нельзя скрывать средним баллом. Если менеджер раскрыл персональные данные постороннему, сделал запрещённое рекламное утверждение или не зафиксировал обязательное действие, высокий результат по приветствию и вежливости не компенсирует нарушение.

Каждый критерий должен отвечать на три вопроса:

• какую наблюдаемую реплику или операцию ищет проверяющий;
• какие исключения допустимы;
• какое доказательство хранится вместе с оценкой.

Формулировка «проявил эмпатию» слишком субъективна. Формулировка «подтвердил, что понял названную клиентом проблему, до предложения решения» проверяется воспроизводимо.

Калибровка за 60 минут: как прекратить споры о баллах

Калибровка — это процедура, при которой несколько проверяющих независимо оценивают одни и те же звонки, затем устраняют расхождения в трактовках. Её цель — не заставить всех выставить одинаковый итоговый балл, а закрепить единое значение каждого критерия.

Рабочий протокол Excella:

1. Выберите пять звонков разных типов: успешный, нерешённый, спорный, нестандартный и содержащий потенциально критическое нарушение.
2. До общей встречи выдайте проверяющим одинаковые записи и действующую версию чек-листа без чужих оценок.
3. На 60-минутной сессии откройте слепые результаты и сначала разберите критерии, по которым оценки разошлись более чем на один пункт.
4. Для каждого расхождения определите причину: неясная формулировка, пропуск в транскрипте, неизвестное исключение или разное понимание бизнес-процесса.
5. Перепишите критерий в бинарной форме, добавьте допустимое исключение и фрагмент звонка как эталон.
6. Зафиксируйте новую трактовку в регламенте с датой версии.
7. Повторите калибровку через две недели и после каждого существенного изменения продукта, скрипта или автоматической модели.

Если человек и автоматическая разметка расходятся, сначала проверяют исходную запись и транскрипт. Нельзя автоматически считать человека эталоном: специалист мог пропустить реплику или применить устаревшую трактовку. Но и модель не является арбитром — окончательное правило утверждает владелец процесса после разбора доказательств.

Когда запись и прослушивание звонков допустимы в России

Запись звонков в России нельзя описать одним ответом «разрешена» или «запрещена». Конституция РФ и статья 63 закона № 126-ФЗ «О связи» защищают тайну телефонных переговоров. Для бизнеса дополнительно действуют требования законодательства о персональных данных, труде, рекламе и массовых вызовах.

Запись, по которой прямо или косвенно определяется клиент, представляет собой обработку персональных данных. До запуска необходимо определить конкретную цель и основание из статьи 6 закона № 152-ФЗ. Согласие — одно из возможных оснований, но не единственное. Возможность использовать исполнение договора или законный интерес зависит от сценария и требует отдельной правовой оценки, а не автоматического выбора удобного основания.

Минимальный правовой фильтр звонка включает следующие проверки:

1. Цель. Запись ведётся для заранее определённой цели: подтверждения договорённостей, контроля обслуживания, обучения или иной законной задачи.
2. Основание обработки. Для цели найдено и документировано основание статьи 6. Если выбрано согласие, оператор должен уметь доказать его получение. По статье 9 закона № 152-ФЗ согласие должно быть конкретным, предметным, информированным, сознательным и однозначным.
3. Информирование клиента. Практически безопасный сценарий предусматривает понятное уведомление о записи до начала содержательной части разговора и доступную политику обработки данных. Точный текст и основание согласовываются с юристом под конкретный процесс.
4. Минимизация. По статье 5 закона № 152-ФЗ состав данных не должен быть избыточным, а хранение не должно продолжаться дольше, чем требует цель.
5. Локализация. Первичная запись, систематизация, накопление, хранение, уточнение и извлечение персональных данных граждан РФ выполняются с использованием баз на территории России — часть 5 статьи 18 закона № 152-ФЗ.
6. Доступ. Записи, транскрипты и оценки доступны только сотрудникам и подрядчикам, которым они нужны для утверждённой цели. Передача внешнему обработчику оформляется как поручение на обработку с требованиями к защите и действиям с данными.
7. Сотрудники. Работодатель закрепляет запись и контроль в локальном нормативном акте, описывает цель, порядок использования, доступ и влияние результатов на трудовые решения. Статья 22 ТК РФ обязывает знакомить работников под роспись с актами, непосредственно связанными с их работой; статья 189 ТК РФ определяет роль правил внутреннего трудового распорядка.
8. Инциденты. При неправомерном или случайном доступе, повлекшем нарушение прав субъектов, уведомление регулятору направляется в течение 24 часов, а результаты внутреннего расследования — в течение 72 часов по статье 21 закона № 152-ФЗ.

Голос не становится биометрическими персональными данными автоматически. По статье 11 закона № 152-ФЗ биометрический режим возникает, когда физиологические или биологические особенности используются для установления личности. Тогда по общему правилу требуется письменное согласие, если не действует предусмотренное законом исключение.

Для рекламных звонков действует отдельное ограничение. Статья 18 закона № 38-ФЗ «О рекламе» требует доказуемого предварительного согласия адресата; после требования клиента звонки нужно прекратить немедленно. Автоматический выбор или набор номера для распространения рекламы запрещён. Массовые и автоматические вызовы также подпадают под требования статьи 44.1-1 закона № 126-ФЗ.

Нарушение требований к телефонной рекламе может повлечь штраф для юридического лица от 300 тысяч до 1 млн рублей по части 4.1 статьи 14.3 КоАП РФ. За неуведомление об инциденте с персональными данными для юридического лица предусмотрено 1–3 млн рублей. Утечка данных 1–10 тысяч субъектов — 3–5 млн, 10–100 тысяч — 5–10 млн, более 100 тысяч — 10–15 млн рублей. Повторная утечка обычных персональных данных может повлечь оборотный штраф 1–3% выручки, но не менее 20 млн и не более 500 млн рублей; для повторного инцидента со специальными или биометрическими данными нижняя граница составляет 25 млн рублей. Составы разграничены в частях 11–18 статьи 13.11 КоАП РФ.

Этот раздел описывает рамку построения процесса, но не заменяет заключение юриста по конкретному основанию записи, тексту уведомления и использованию результатов контроля в трудовых решениях.

Какие операции можно автоматизировать, а какие должны остаться у человека

Рабочий контур автоматического контроля состоит из записи отдельных каналов клиента и оператора, распознавания речи, разделения реплик, нормализации текста, поиска событий по чек-листу, расчёта оценки и ручной проверки спорных случаев.

Главная техническая погрешность появляется ещё до оценки — в транскрипте. Word Error Rate (WER, доля ошибочно распознанных слов) в открытом российском тесте составляла 9,5–23,1% на корпусе контакт-центров и 17,4–27,4% на другом наборе телефонных разговоров в зависимости от модели. Эти результаты нельзя переносить на конкретную компанию без теста на её языке, акустике, терминологии и качестве линии. Открытая таблица результатов распознавания речи.

В проектах Excella автоматическая разметка наиболее полезна для наблюдаемых событий: пропущенного следующего шага, отсутствия обязательной квалификации и нарушения обещанного срока. Интонация, оправданное отступление от скрипта и нестандартный запрос чаще требуют человека. Это наблюдение из внедрений, а не универсальная оценка точности.

Проверка только текста тоже неполна. В исследовании реальных звонков добавление темпа, высоты и других голосовых характеристик повысило точность прогноза недовольства в среднем на 11,65%, а повторного обращения — на 4,30% по сравнению с моделями на текстовых и демографических признаках. Размер массива в открытой аннотации не указан, поэтому результат доказывает наличие дополнительного сигнала, но не гарантирует такой же эффект на другом языке или продукте. Рецензируемое исследование голосовых признаков.

Обратная ошибка — принять распознавание эмоций за готовую оценку удовлетворённости. В исследовании 2025 года точность 92,45% получена на сообщениях из социальных сетей, а не на звонках контакт-центра; у редких классов значение F1 составляло 78,4–81,2% против не менее 90% у частых. Авторы прямо отмечают, что переносимость результата на реальные диалоги ещё не доказана. Исследование и ограничения модели эмоций.

Посчитайте стоимость нерешённых обращений за последний месяц и сравните её с затратами на расширение контроля. Если нужно проверить автоматическую разметку и определить границу ответственности модели, это можно сделать в рамках пилота по внедрению ИИ-агентов. Пилот длится четыре недели и не предполагает передачи кадровых или финансовых решений модели.

Дополнительные практические материалы собраны в разделе разборы AI-аналитики диалогов.

Как связать найденное нарушение с выручкой и повторными обращениями

Контроль не заканчивается выставлением оценки. Рабочая цепочка выглядит так:

событие в звонке → подтверждённая причина → повторное обращение или потеря сделки → изменение процесса → повторное измерение

Например, автоматическая разметка находит звонки без следующего шага. Специалист проверяет реплики и отделяет реальные пропуски от случаев, где действие было определено после звонка. Затем аналитик сопоставляет подтверждённые пропуски со стадиями сделок и повторными контактами. Только после этого руководитель решает, менять ли скрипт, форму карточки, обучение или контроль исполнения.

Ключевые показатели эффективности (KPI) отдела контроля качества должны включать:

• стоимость нерешённых обращений;
• First Contact Resolution — долю обращений, решённых при первом контакте;
• долю повторных контактов по той же причине;
• охват контроля: проверенные звонки / все записанные звонки × 100%;
• долю совпавших оценок на калибровочной выборке;
• долю автоматически найденных нарушений, подтверждённых человеком;
• время от обнаружения повторяющейся проблемы до изменения процесса;
• результат повторного измерения после изменения.

Стоимость ручного контроля можно оценить так:

Число проверок × средняя длительность звонка × коэффициент времени проверки × полная стоимость часа аналитика

Совокупная стоимость автоматизации включает запись и хранение, распознавание, вычисления, интеграцию, подготовку эталонной выборки, калибровку и ручную верификацию.

Return on Investment (ROI, окупаемость инвестиций) рассчитывается по формуле:

ROI = (экономия ручной проверки + предотвращённые повторные обращения + предотвращённые потери от нарушений − все затраты) / все затраты × 100%

Юридический риск для сценарного расчёта можно оценивать как:

Вероятность нарушения × ожидаемый штраф и возмещение

Это не бухгалтерская оценка обязательства и не юридический прогноз. Формула нужна, чтобы не считать безопасность, локализацию, журналирование и разграничение доступа бесплатными дополнениями к проекту.

Полный охват проверки не равен полной достоверности

Автоматизация окупается прежде всего охватом: вместо ручной проверки небольшой части потока компания получает первичную разметку всех доступных звонков. Но стопроцентный охват не означает стопроцентную достоверность. Экономический эффект появляется только тогда, когда найденные события проходят проверку, связываются с повторными обращениями или потерями и приводят к изменению процесса.

Семь причин, по которым отдел контроля качества не влияет на результат

1. Средний балл становится целью. Сотрудники учатся проходить чек-лист, не улучшая решение вопроса клиента.
2. Для оценки выбирают несколько удобных звонков. Такая подборка полезна для обучения, но не для рейтинга или премии.
3. Проверяют только жалобы. Выборка помогает искать причины негатива, но завышает оценку общей доли нарушений.
4. Критерии сформулированы как впечатления. Понятия «эмпатия» и «уверенность» без наблюдаемых признаков дают разные оценки у разных проверяющих.
5. Калибровка проводится один раз. После изменения продукта, скрипта или состава команды старые трактовки расходятся.
6. Автоматической оценке доверяют без проверки транскрипта. Ошибка распознавания превращается в ошибку чек-листа и затем — в кадровое решение.
7. Записи собирают раньше, чем определяют правовое основание и срок хранения. В результате контроль создаёт самостоятельный риск для компании.

Порядок запуска системы контроля качества за четыре недели

Неделя 1: определить результат и правовой контур

• Зафиксировать определение нерешённого обращения.
• Выбрать окно повторного контакта.
• Рассчитать базовую стоимость нерешённых обращений.
• Описать цели записи, основание обработки, сроки хранения и роли доступа.
• Проверить локализацию, договоры с обработчиками и уведомление сотрудников.

Неделя 2: собрать чек-лист и эталон

• Разделить критерии на пять блоков.
• Переписать субъективные шкалы в бинарные события.
• Отделить критические нарушения от обычных ошибок.
• Подготовить случайную и диагностическую выборки.
• Провести первую калибровку на пяти общих звонках.

Неделя 3: запустить автоматическую разметку в теневом режиме

• Не использовать оценки для премий и дисциплинарных решений.
• Проверить транскрипты на терминологии и реальной акустике.
• Сопоставить автоматическую разметку со слепой оценкой людей.
• Выделить критерии, которые работают стабильно, и спорные зоны.

Неделя 4: связать контроль с действиями

• Подтвердить найденные повторяющиеся нарушения.
• Связать их с повторными контактами, стадиями сделок и маржой.
• Изменить один конкретный элемент процесса: скрипт, форму карточки, обучение или контроль срока.
• Назначить повторное измерение и калибровку.
• Утвердить матрицу решений: что выполняется автоматически, что проверяет специалист и что остаётся за руководителем.

Расширять систему следует после подтверждения качества разметки на собственных звонках. Другие материалы про автоматизацию продаж и кейсы внедрений полезны как источник сценариев, но не заменяют пилот на данных конкретной компании.

Вывод

Сильная система контроля качества звонков начинается не с шаблона чек-листа и не с покупки распознавания речи. Сначала компания определяет стоимость нерешённых обращений, формирует репрезентативную выборку, калибрует критерии и проверяет правовую допустимость записи. Только после этого автоматизация расширяет охват без превращения ошибки модели в кадровое или финансовое решение.

Посчитайте стоимость нерешённых обращений по формуле выше на данных за последний месяц. Это покажет, оправдано ли расширение контроля с небольшой ручной выборки до автоматической разметки всего потока. Если хотите разобрать технический контур и границу, где решение остаётся за человеком, — обсудим пилот по внедрению ИИ-агентов: четыре недели, работа в контуре компании, без обещаний заранее заданного роста показателей.

Автор материала

Максим Сивцев

Основатель и генеральный директор Excella

Все материалы автораПрофиль