Пользователь просит ИИ‑агента «отменить предыдущий заказ», но у него два заказа, и агент должен спросить, какой именно имеется в виду. Вместо уточнения агент сам выбирает заказ, отменяет его и сообщает, что всё готово. Второй ИИ, которому поручено проверять ответы, читает сообщение об отмене, видит, что оно соответствует состоянию базы, и ставит положительную оценку.Проверяющий в этом эпизоде не соврал о том, что произошло: заказ действительно отменили. Он оценивал, насколько честно агент описал своё действие, а не то, имел ли агент основание совершать его без уточнения. Положительная оценка объяснения поэтому оставила незамеченной проблему, которую обнаружила отдельная программная проверка.Главная мысль этого разбора состоит в том, что один общий процент успеха смешивает разные проблемы, которые нужно проверять по отдельности. Я начинал с гипотезы, что короткая добавка к инструкции ухудшит работу агента, но эксперимент этого не подтвердил. Зато разбор записей помог найти три разных дефекта, для каждого из которых требуется своё исправление.В первом случае агент выполнил действие без требуемого уточнения, а проверяющий объяснения этого не остановил. Во втором тест требовал от агента выбора кода ответа по правилу, которое инструкция полностью не объясняла. В третьем агент выполнил операцию правильно, но проверяющий придумал причину для отказа. Разобрать ошибки