Если вы подключаете к чату настоящие инструменты, нужно проверить два случая: когда вызов следует выполнить и когда ни один инструмент не подходит. Я сравнил два способа: модель сама пишет вызов или выбирает функцию и аргументы из готовых вариантов.Второй способ я исследую в собственной экспериментальной системе ELM — так я называю свой проект. Код предлагает варианты, нейросеть выбирает из них, а код собирает вызов. В проверяемом здесь режиме нейросеть не генерирует текст вызова.На сборке вызовов локальная Bonsai-2-27B заметно обошла мою систему. На задачах, где нужен отказ от неподходящего инструмента, результат был обратным: 88,3% у ELM против 15,4% у Bonsai. Разберу, что именно я измерил и где проходит граница этого сравнения. Читать далее