[MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间 - Artech

Wait 5 sec.

【摘要】我们知道LLM的调用不仅仅是一个耗时的操作,还会产生一定的费用,所以我们希望能够尽可能地减少不必要的调用。`CachingChatClient`就是为此而生的一个中间件实现,它通过在内存中维护一个缓存来存储之前调用LLM的输入和输出,从而避免了对相同输入的重复调用。当我们调用`GetResponse... 阅读全文