На конференции EMNLP 2025 представили метод HierarchicalTopK, который меняет взгляд на то, как обучать интерпретируемые модели с разной степенью разреженности. Обычно уровень разреженности выбирают заранее, еще до начала обучения, и после старта изменить его невозможно. Если разреженность слишком низкая, модель описывает данные слишком грубо. Если слишком высокая, признаки теряют смысл и интерпретируемость исчезает. Новая идея предлагает избежать этого компромисса и учить модель так, чтобы она понимала сразу несколько уровней разреженности. Читать далее