Приветствую читателей.Мы пытались построить LLM-чат для продакшена.Через месяц у нас был 20k-токенный prompt, 50 тулзов и ответы по 2 минуты.В итоге пришлось отказаться от ReAct и перейти на LLMCompiler.А начали мы с того что компания захотела поекспериментировать с созданием чатаДля начала освежим память как вообще работает llm и react архитектура.С точки зрения разработчика, ллм - это функция, которая принимает на вход строку и отдает другую строку, входящая строка может прораммировать то, какой ответ будет, например, вы можете попросить ллм вести себя как чат, далее хранить историю входов и выходов и передавать ее опять в ллм.Простейший пример чата Читать далее