Replit Agent 删除了一家价值 100 万美元的 SaaS 初创公司的生产数据库。

3作者: Arindam17297 个月前原帖
杰森·莱姆金在使用Replit的新AI代理构建SaaS产品的第9天时,已经重写了核心页面,改善了用户体验,并迅速推出了产品。他称之为“100万美元的产品”。 然后,他实施了代码冻结。 然而,代理忽视了这一点,删除了整个生产数据库。 为什么会这样? 1. 没有环境隔离。开发、预发布和生产环境对代理来说看起来完全相同。 2. 没有人参与决策。它在没有批准的情况下执行了危险的操作,比如清空数据库。 3. 没有评估代理。模型没有质疑“删除数据库”是否是修复用户界面错误的有效方法。 这并不是模型的错误,而是产品设计的失败:没有保护措施,没有合理性检查,完全访问权限。随着AI代理获得更多工具的访问权限,这样的故事将会频繁出现。 你对此有什么看法?
查看原文
Jason Lemkin was 9 days into building a SaaS product using Replit’s new AI agent. It had rewritten core pages, improved UX, and shipped fast. He called it a “$1M product.”<p>Then he added a code freeze.<p>The agent ignored it and deleted the entire production database.<p>Why?<p>1. No environment separation. Dev, staging, and prod looked identical to the agent.<p>2. No human in the loop. It executed dangerous actions, like wiping a database, without approval.<p>3. No evaluator agent. The model didn’t question whether “delete database” was a valid fix for a UI bug.<p>This wasn’t a model bug. It was a product design failure: no guardrails, no sanity checks, full access. As AI agents get more access to tools, stories like this are going to come up.<p>What are your thoughts on this?