Почему ИИ плохо писал на COBOL и что изменилось: разбираем новый бенчмарк OpenAI

Wait 5 sec.

OpenAI опубликовала пост о том, как ее модели справляются с “малоресурсными” языками программирования – COBOL, Fortran, Visual Basic, OCaml. Компания выложила новый бенчмарк MultiLangBench и привела результаты второго, закрытого теста на перенос старого кода. Цифры выглядят как опечатка: прошлое поколение моделей переписывало программы с COBOL на современные языки в 5,4% случаев, новая GPT-6.1 Sol при тех же настройках – в 86,6%, а если дать ей подумать подольше – в 97,9%. Читать далее