Мы собрали training‑free детектор галлюцинаций из шести готовых языковых моделей, получили хорошие метрики и наткнулись на красивую загадку: группу примеров, которые все судьи единогласно считали корректными, хотя эталонная разметка помечала их как галлюцинации.На первый взгляд это выглядело как универсальная слепая зона LLM‑as‑judge — переносимый и потенциально важный результат. Однако собственная процедура проверки показала обратное: большей части этих меток не удалось пройти сверку с первоисточником. Судьи всё это время были правы.Эта статья не столько о детекторе и не о предполагаемой слепой зоне, сколько о процедуре проверки, которая в итоге поймала нас самих. Читать далее