Около двух лет я делаю Telegram-бота, который проверяет развёрнутые ответы ЕГЭ по обществознанию: примеры, планы, обоснования. Я учитель и эксперт ЕГЭ, и главный вывод проекта звучит неожиданно для тех, кто строит продукты на LLM: модели нельзя поручать ставить балл.В моём боте модель только размечает ответ по JSON-схеме: какие примеры конкретны, какие суждения верны, какие пункты плана ключевые. Балл считает обычный код, а перепроверки могут его только понизить. В задании с планом модель на балл вообще не влияет: там работают лемматизация и сверка с эталонами.В статье расскажу, как устроен путь одного ответа, кто что считает в каждом из девяти заданий, почему одного «негативного сигнала» модели недостаточно, чтобы снять балл, что делать, когда ИИ недоступен, и сколько стоит одна проверка. Читать далее