Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается.Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос.В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне. Читать далее