[Перевод] Терминал, которого нет: я научил модель на 360M параметров изображать bash, vim и tmux

Wait 5 sec.

За этим терминалом нет ни шелла, ни файловой системы: каждое нажатие клавиши уходит в языковую модель на 360 млн параметров, и она предсказывает, как изменится экран. Автор дообучил Qwen2.5-Coder-0.5B на 336 тысячах записанных сессий, научил её чинить собственные ошибки, а задержку p95 на больших кадрах на RTX 4090 сократил с 6,7 до 0,87 секунды за счёт параллельного декодирования строк. Модель запускает vim и tmux, играет в змейку и в тесте на чтение ранее записанных файлов отвечает верно в 9 случаях из 13 (модели без дообучения — в 2 и 3). Квантованная версия на 208 МБ работает прямо во вкладке браузера. Читать далее