Как описать критерий, чтобы его понял и человек, и ИИ
Короткий ответ
Хорошая формулировка критерия содержит наблюдаемое действие, а не абстрактное качество. "Задал минимум два уточняющих вопроса о задаче клиента" — наблюдаемое действие. "Был внимателен к клиенту" — абстрактное качество, которое каждый трактует по-своему, будь то человек или модель.
Три правила формулировки
Правило 1. Действие, а не впечатление
Замените прилагательные ("убедительно", "профессионально", "внимательно") на конкретные действия, которые можно зафиксировать как факт.
Правило 2. Явный признак выполнения
Формулировка должна отвечать на вопрос "как именно я пойму, что это выполнено" без дополнительных уточнений.
Правило 3. Границы применимости
Укажите, когда критерий неприменим — например, "критерий не оценивается, если клиент завершил звонок в первые 15 секунд".
Пример плохой и хорошей формулировки
Плохо: "Менеджер хорошо работал с возражениями." Хорошо: "При каждом возражении клиента менеджер сначала задал уточняющий вопрос о причине, затем дал ответ по существу названной причины. Приведи цитату."
Частые ошибки
Использование субъективных прилагательных ("качественно", "грамотно") без расшифровки, что именно под ними понимается — такая формулировка одинаково плохо работает и для человека, и для модели.
Частые вопросы
Нужно ли по-разному формулировать критерии для человека и для ИИ? Нет, хорошо сформулированный критерий работает для обоих — если формулировка требует разной трактовки для человека и для модели, значит, она недостаточно точна.
Как проверить качество формулировки перед использованием? Дать её двум разным людям для независимой оценки одного и того же звонка — расхождение в выводах покажет, где формулировка неоднозначна.
Автор: редакция Auditka AI. Экспертная проверка: Александр Аничкин, основатель Auditka AI.