Ян Лекун представил LeJEPA - простой и эффективный подход к self-supervised обучению, который избавляется от большинства традиционных сложных трюков. Ранее для предотвращения коллапса признаков в обучении моделей использовались stop-gradient, сети «учитель-студент» и другие эвристики. LeJEPA заменяет их одним регуляризатором - SIGReg (Sketched Isotropic Gaussian Regularization). Читать далее