最新

大家好， 我开发了 TrainForgeTester，这是一个开源的场景测试运行器，专门用于测试执行动作（调用工具）的 AI 代理。 这个想法是：测试代理在特定公司场景中的表现，而不仅仅是在一般基准测试中。更具体地说，测试代理是否会采取错误的行动、跳过必要的步骤、调用错误的工具或传递错误的参数。 TrainForgeTester 允许您运行多轮场景（您可以根据个人用例和数据，按照提供的场景架构创建这些场景），并检查： * 工具调用和参数 * 严格或无序的工具执行 * 预期的响应 * 在模型、提示或工具更改后的回归 这个场景测试器是项目的第一部分（类似于版本 0.1.0）。 我现在正在开发下一部分：一个“场景生成器”，它可以处理杂乱的历史公司数据（客户支持日志、代理记录、工具调用、转录等），并将其转化为可测试的场景，以便在这个框架中使用。再次尝试使其尽可能确定性。 代码库： [https://github.com/TrainForge/TrainForgeTester](https://github.com/TrainForge/TrainForgeTester) 我非常希望能收到以下方面的反馈： * 目前尚未覆盖的真实代理测试用例（浏览器使用、音频、视频、鼠标使用） * 这个方向是否合理 * 这个项目作为产品/开发工具的潜在发展方向 * 代码库中的问题、边缘案例或缺失功能 任何 GitHub 问题、分支或拉取请求都将非常感谢。

一个闲置点击类游戏，在这个游戏中你并不需要真正点击饼干。更多信息请查看仓库；）