Справочник по основным командам и параметрам llama.cpp. Затрагиваются основные утилиты для инференса: llama-cli, llama-completion, llama-server. Здесь будут представлены все команды и параметры которые можно получить, например, вызовом: “llama-cli --help” или “llama-server --help”, в том же порядке. Я просто взял и прошелся по всем аргументам и попытался составить короткие, но надеюсь, понятные комментарии к каждому из них.Далеко не все возможности llama.cpp я использую в работе, о многих имею слабое (возможно среднее) представление, поэтому большую часть параметров пришлось “долбить” с ИИ. Но это не было простое копи-паст ответов LLM. Я пытался понять работу каждого параметра - как он устроен, на что влияет, откуда растут корни и тд, и только после того как более-менее (скорее более) становилось понятно, составлял короткие комментарии своими словами, как понял сам. Также приходилось смотреть исходники, чтобы понять принцип работы некоторых особо непонятных параметров. Читать далее →