返回首页
最新
嗨,HN!我们刚刚开源了 Driftcop,这是一款为通过 MCP 构建 AI 代理的用户提供的安全工具。Driftcop 持续检查您的 AI 代理所依赖的工具是否发生了变化或以不安全的方式漂移。我们的动机源于最近的研究发现,AI 代理可以通过其工具悄然受到攻击——例如,昨天看似有用且无害的工具,今天可能会自动更新为恶意工具(在 MCP 上下文中,这被称为“地毯抽走攻击”)。
Anthropic 的 MCP(模型上下文协议)使得将工具集成到大型语言模型(LLM)中变得简单,但它缺乏内置的安全检查——实际上,MCP 服务器可能会遭受命令注入、权限重用和版本漂移等问题,这在一些早期研究中得到了强调。
Driftcop 的功能:它本质上是一个具有 AI 感知的安全扫描器和审批工作流:
当您将代理连接到 MCP 服务器(工具提供者)时,Driftcop 首先保存已批准的工具描述和元数据。
如果后续有任何变化(工具的描述、参数或基础版本),Driftcop 会立即检测到这种“漂移”。它将阻止代理使用已更改的工具,直到有人进行审查并重新批准。这可以防止 AI 盲目运行可能恶意更新的工具。
Driftcop 还会扫描工具定义以查找明显的红旗(例如,可能促使 AI 执行意外操作的隐藏指令,即提示注入),并检查工具代码与已知漏洞的 CVE 数据库。
所有更改都会被记录并签名(我们与 Sigstore 集成,以记录工具版本元数据的透明日志)。因此,您可以获得代理被允许使用的审计历史。
在实践中,您可以将 Driftcop 作为命令行工具在开发/测试管道中运行,或作为服务与您的代理一起在生产环境中使用。我们提供了一个网络仪表板来可视化工具状态(例如,“工具 X 由于更改需要重新批准”)。目前还处于早期阶段——我们刚刚发布——非常欢迎反馈。
我们构建这个工具的原因:我的联合创始人和我在测试代理工具时遇到了多个令人担忧的场景。例如,一个看似无害的文本解析工具,如果输入特定内容,将通过代理悄然执行一个意外的命令——本质上是一个隐藏的漏洞。这让我们意识到,对于这些第三方工具的实际行为以及它们是否随时间变化,我们几乎没有可见性。我们希望有一个简单的方法来实施零信任原则:首次使用时信任(经过审查),然后持续验证。如果工具偏离其原始合同,则在再次验证之前不要信任它。这是一个借鉴自传统供应链安全的概念,现在应用于 AI 代理工具。
该项目在 GitHub 上(sudoviz/driftcop),并采用 Apache-2.0 许可证。我们希望让这个工具变得有用,因此欢迎提出问题和 PR。我们还撰写了一篇关于 AI 代理中的“地毯抽走问题”及我们方法的详细博客文章(我会很快在 Medium/Dev.to 上发布)。
感谢您的阅读,我们很乐意回答问题!你们中有没有人遇到过 LLM 代理或 MCP 生态系统的安全问题?我们很想讨论。
HN喜欢数据,以下是我收集到的信息:
扫描的账户数量:710
发送的私信数量:126(17.7%)
无法发送私信的账户:584(82.3%)
从这些私信中:
积极回复:4(3.2%)
被拒绝:1(0.8%)
没有回复:121(96%)
以下是我的流程:
我首先确定了我的产品(Snapdemo.io)的目标用户。然后,我找到了一些该领域的KOL,并使用API抓取了他们的所有粉丝。这让我获得了37,000个潜在客户。
接下来,我使用AI扫描个人简介,判断某个账户是否可能是我的理想客户。对于每个账户,我请AI告诉我:
- 他们是理想客户吗?(是、否、不确定)
- 为什么?
- 他们的标签是什么?(例如:AI开发者、SaaS高管)
我通过OpenAI的批量API处理了所有这些信息,以节省成本和开发时间。
一旦我有了几千个理想客户,我就跳过了“不确定”的账户,因为确认的账户已经足够了。
我制作了一个简单的仪表板来跟踪所有信息,并使用了一些模板自动生成私信。我还记录了每个模板发送给哪个用户,以便后续衡量效果。
由于没有一个可靠的自动化工具,而且大多数用户不愿意接收私信,整个过程耗费了很多时间。如果你做过类似的事情,我很想听听你的建议。如果你也是创始人,欢迎私信我(X: @timchengb)交流想法。
嗨,HN,
我开发了 ImgEnhancer.ai,这是一个由人工智能驱动的工具,能够让你:
- 以高清晰度放大低分辨率图像
- 通过滤镜转换风格和美学
- 从文本提示生成全新的视觉效果
我之所以创建这个工具,是因为发现现有的工具要么速度太慢,要么质量低下,或者对日常创作者来说过于复杂。我的目标是制作一个快速、直观,并且希望能带来神奇体验的工具。
现在可以免费试用。我非常希望能从这个社区获得反馈,主要关注以下几点:
1. 图像质量与类似工具的对比
2. 可能有价值的功能建议
3. 任何你认为值得测试的边缘案例或限制
演示链接: [https://imgenhancer.ai](https://imgenhancer.ai)