«Мы принадлежим крестоформу?»Проблема коллапса моделей, или model collapse, сегодня хорошо известна. Если следующую генеративную модель обучать на текстах, созданных предыдущей, распределение обучающих данных начинает сужаться от поколения к поколению. Сначала исчезают редкие случаи: необычные обороты, маловероятные сочетания, локальные знания, отклонения от нормы. Затем беднее становится и сама норма.Каждая отдельная генерация при этом может выглядеть убедительно: грамматически правильной, логичной и узнаваемой. Ошибка проявляется не как немедленный бред, а как постепенное сокращение пространства возможного.Это похоже на последовательность копий: первая почти неотличима, десятая всё ещё узнаваема, сотая сохраняет общий контур, но теряет детали, которые никто не считал важными, пока они не исчезли.Здесь необходима оговорка. Коллапс моделей не считается неизбежным: эксперименты показывают, что сохранение исходного человеческого корпуса данных и контролируемое добавление синтетических данных могут стабилизировать обучение. Но пока это больше похоже на способ сдерживать деградацию, чем на окончательное решение. Система по-прежнему требует постоянного внешнего якоря, а редкие части распределения могут исчезать первыми.Для AI-компаний это хотя бы инженерная задача: корпус можно очистить, пересобрать, заново взвесить и повторить обучение.У людей такой возможности нет. Читать далее