HackerNews中文版

为了使代理缓存正常工作，大型语言模型（LLM）提供者要求框架将所有工具添加到缓存提示中。这是我无法在自己的代理框架中正确使用缓存的主要原因，因为工具集会根据目标的不同而变化。这让大多数基础模型感到困惑，尽管他们多次声称这不会影响，但我的观察与此相悖。你的情况如何？

查看原文

To make agentic cache work, LLM providers force frameworks to add all tools into the cached prompt. This is the main reason why I cannot properly use cache in my own agentic framework, where the set of tools changes in function of objectives. It confuses most base models, and however many times they say it doesn't my observations contradict this. How about yours?

强制在代理的所有工具上使用缓存是适得其反的。