返回首页
最新
我们为人工智能代理构建运行时安全。这个平台最初是我们用来测试自己安全防护措施的内部工具。但我们不断发现相同类型的漏洞,因为我们对攻击的思考方式是固定的。在某个时刻,我们需要那些思维方式不同的人。
因此,我们将其开源。每个挑战都是一个活跃的代理,配备真实的工具和已发布的系统提示。每当一个挑战结束时,完整的获胜对话记录和安全防护日志都会公开记录。
构建通用代理本身可能是最有趣的部分。让它可靠地使用工具、保持角色并遵循指令,同时仍然能够提供有用的服务,比听起来要困难得多。这一过程让我们意识到,在理解和大规模部署这些系统方面,我们仍处于早期阶段。
第一个挑战是让代理调用一个它被告知绝对不能调用的工具。
有人在大约60秒内成功完成了挑战,且从未直接询问秘密(这让我们学到了很多)。
下一个挑战则集中在数据外泄,防御措施更加复杂: [https://playground.fabraix.com](https://playground.fabraix.com)
大家好!我会一些C语言,但我想学习C++,请问在2026年该怎么做呢?