Участники открытого челленджа AdderBoard довели минимальный трансформер, способный складывать два 10-значных числа, до 130 параметров — в 47 раз меньше исходной модели на 6 080 параметров. Модель достигает 100%-й точности на тестовой выборке из 10 000 примеров. Читать далее