Калибровочные сессии: как добиться одинаковых оценок
Короткий ответ
Калибровочная сессия — совместное прослушивание и оценка одних и тех же звонков несколькими проверяющими с последующим сравнением результатов. Цель — выявить и устранить расхождения в трактовке критериев до того, как они накопятся в статистике и исказят выводы по отделу.
Когда это нужно
Если оценку звонков ведёт больше одного человека — специалист по качеству и его заместитель, или РОП и система автоматической оценки — расхождения неизбежны без регулярной калибровки. Без неё сравнение менеджеров, оценённых разными проверяющими, становится некорректным.
Пошаговая инструкция
Шаг 1. Отобрать звонки для калибровки
5-10 звонков, желательно разного качества: явно хороший, явно проблемный, и несколько неоднозначных — именно на них расхождения проявляются ярче всего.
Шаг 2. Оценить независимо
Каждый проверяющий (включая автоматическую систему, если она используется) оценивает звонки самостоятельно, без обсуждения с коллегами до сравнения результатов.
Шаг 3. Сравнить и обсудить расхождения
По каждому критерию, где оценки разошлись, разбирается конкретный момент разговора: что один проверяющий посчитал выполнением критерия, а другой — нет, и почему.
Шаг 4. Скорректировать формулировки
Если расхождение системное (не случайность одного звонка), критерий переписывается точнее.
Частые ошибки
Проведение калибровки один раз при запуске системы и больше никогда — критерии и команда меняются, и без повторной калибровки раз в несколько месяцев расхождения накапливаются снова.
Частые вопросы
Как часто нужны калибровочные сессии? При запуске системы — обязательно, дальше по мере необходимости, обычно раз в квартал или при добавлении нового проверяющего в команду.
Нужна ли калибровка, если оценку ведёт только ИИ? Да, в форме сравнения оценок системы с оценками человека на контрольной выборке — принцип тот же.
Автор: редакция Auditka AI. Экспертная проверка: Александр Аничкин, основатель Auditka AI.