返回首页
最新
我在一个在线游戏开发社区工作，这个社区的文化反对使用人工智能进行任何事情，甚至是编码。这个社区围绕一个开源的游戏开发软件工具链以及其他用于分发、玩耍、评审和讨论这些游戏的网络应用程序建立。
我过去曾对开发软件工具链提交过拉取请求（PR），但这个工具链相当复杂（包括用多种编程语言编写的工具），我一直很难理解它，因此通常不太愿意去尝试。
到了2026年，使用大型语言模型（LLM）修复这个工具链中的错误变得容易多了。LLM在切换编程语言、添加调试跟踪以追踪错误在每一层的流动、生成自动化测试以重现错误，然后正确修复错误方面毫无问题。
当然，问题在于：我该如何说服团队合并一个完全由LLM生成的代码的PR，而这显然是违反他们政策的？
我选择的答案是：我撒谎说我写了这段代码。
但为了“卖”这个谎言，我首先请LLM详细解释错误修复的过程，然后我非常仔细地审查生成的代码（确保它的写法与我自己写的一模一样，尤其是注释），最后我完全手动撰写所有的提交信息和PR描述。
我发现这种方法极具教育意义。我学到了很多关于工具链中编程语言的知识，以及开源游戏开发工具的内部工作原理。在许多情况下，我更深入的理解让我能够真正审查LLM生成的代码，发现其中的问题，然后让LLM进行修复。
我确信，如果我只是点击一个按钮让LLM生成提交信息和PR描述，我绝对不会发现那些问题。而且显然我也不会学到这么多。
我不能以自己的名义写任何关于这件事的内容，但我现在真心推荐使用LLM来提交开源PR，但绝不要使用LLM生成提交信息或PR描述。即使开源项目明确允许LLM生成PR，也要假装是自己写的代码。
如果你对代码的理解不够深入，无法撰写提交信息或PR描述，可以请LLM为你生成一个，但随后要用自己的语言从头重写一遍。这部分是为了避免描述中有人工智能的味道，同时也是为了确保你对代码有足够的理解，以解释它的功能以及为什么这段代码是正确的做法。
假装这段代码真的是我的代码，迫使我深入学习这段代码，以便能够真正掌握它。我对自己在这方面撒谎感到羞愧，但我为通过这样做所学到的知识和取得的成就感到自豪。
嗨，HN！我们是Theodore和Louis，Armature的创始人（YC P26）。我们重建了您收到的MCP工具调用背后的整个会话，包括用户要求其代理执行的操作以及代理的想法。
您只需用三行代码将您的MCP封装起来（我们的SDK支持Typescript、Python和Go），就可以在仪表板上看到：
- 所有重建的会话：就像阅读用户在Claude或ChatGPT中进行的真实对话！
- 您的MCP最受欢迎用例的排名，基于会话聚类构建
- 您的用户代理遇到的最常见问题，以便您进行修复。
这是一个快速演示：<a href="https://youtu.be/ZFlvquhyNMQ" rel="nofollow">https://youtu.be/ZFlvquhyNMQ</a>
这个故事的背景是，我们最初将Armature作为一个独立的测试工具推出（<a href="https://www.ycombinator.com/launches/QQc-armature-making-your-app-finally-usable-by-ai-agents">https://www.ycombinator.com/launches/QQc-armature-making-you...</a>），可以通过MCP本身自然使用。我们很快意识到，我们对用户如何使用Armature MCP以及他们是否满意或感到沮丧一无所知。这也是我们在之前的公司中经历过的事情：Louis构建的MCP面向数百万用户，而Theo在加入Datadog的分支公司之前是Palantir的前线工程师。测试和产品分析在将产品暴露给代理时一直是个真正的痛点，但我们总觉得在分析方面无能为力，因为对话发生在用户的AI客户端中。
然后我们突然想到：如果我们询问代理为什么会进行某个工具调用呢？用户的意图或潜在的沮丧又是什么？于是我们开始尝试MCP的仪器化，结果用例让我们感到惊讶！我们的许多首批客户为他们的CI实施了变通方案，以触发新测试，或者让他们的编码代理高效获取结果。尽管我们定期与首批用户交谈，但他们从未与我们分享过这些反馈。于是我们构建了自动化工具，自动聚类用例，识别常见问题，并让我们的编码代理进行修复。当我们的CTO朋友们听说这件事时，他们想亲自试试，于是我们给他们提供了我们内部产品的克隆版本，他们开始分享反馈，甚至比在我们“真实”产品上更积极！
这时我们决定认真开始将MCP分析作为一项产品。起初我们担心会降低MCP的性能，因此我们不断迭代，直到达到了与未进行仪器化时完全相同的成功率（89.17% vs 89.15%，共870次运行）。然后，隐私显然是一个约束，因此我们应用了从处理银行数据或构建敏感数据日志扫描中学到的方法。如今，数据脱敏在客户端运行，才会传输到我们的服务器。我们仍然有很多事情没有完全弄清楚：并非所有模型对所有字段的填充程度相同，无状态/无服务器的MCP会话指纹识别并不完美，而用例聚类仍需优化。
但我们终于向所有人推出了我们的分析产品，您可以在<a href="https://armature.tech">https://armature.tech</a>上自助使用，设置时间不到5分钟，并提供慷慨的免费套餐。
现在，我们正在努力全面闭环，将评估功能带回我们的产品，以便我们可以：识别顶级工作流程和问题 -> 推荐修复和改进 -> 在用户运行的相同工作流程上大规模测试修复，跨所有工具和模型 -> 开放PR以直接发布修复。评估可以从会话分析中自动生成，因此您可以捕捉每一个回归，并在发布之前测试每个改进在所有模型和工具上的实际影响。
这里有一个更具体的例子：10天前，一个早期访问我们构建的营销自动化平台通过MCP分析发现用户对在创建活动后无法更改目标受众感到沮丧。因此，他们发布了该功能，并在Fable 5的Claude Code上成功进行了本地测试。几天后，在准备新的MCP公开发布时，他们在Armature上运行了一系列评估，意识到小模型可能会产生虚假观众ID，这将导致他们的MCP默认将活动发送给所有联系人（这显然可能在生产中导致灾难）。这就是让我们所构建的产品感觉如此有帮助的故事！
现在，对我们来说，最有用的反馈是了解我们产品中仍然缺少什么，以便您能感受到自己完全掌控“代理体验”。如果您在生产中运行MCP，我们也希望知道：您今天是如何判断代理是否成功，以及背后的用户是否满意的？
请说明工作地点，如果是远程工作请注明“REMOTE”，如果国家有限制请注明“REMOTE (US)”或类似的标识；如果不提供远程工作，则请注明“ONSITE”。<p>请仅在您本人是招聘公司的成员时发布信息——不接受招聘公司或求职网站的帖子。每家公司仅限发布一条信息。如果您的公司不是家喻户晓的名字，请解释一下公司的业务。<p>请仅在您正在积极招聘并承诺回复申请者的情况下发布信息。<p>评论者：请不要在招聘帖子下回复抱怨任何事情。这与主题无关。<p>读者：请仅在您个人对该职位感兴趣时发送邮件。<p>求职者：可以尝试访问<a href="https://nthesis.ai/public/hn-who-is-hiring" rel="nofollow">https://nthesis.ai/public/hn-who-is-hiring</a>、<a href="https://dheerajck.github.io/hnwhoishiring/" rel="nofollow">https://dheerajck.github.io/hnwhoishiring/</a>、<a href="http://nchelluri.github.io/hnjobs/" rel="nofollow">http://nchelluri.github.io/hnjobs/</a>、<a href="https://hnjobs.emilburzo.com" rel="nofollow">https://hnjobs.emilburzo.com</a>。<p>不要错过这个其他精彩的主题：<i>谁想被雇佣？</i> <a href="https://news.ycombinator.com/item?id=49156682">https://news.ycombinator.com/item?id=49156682</a>
如果您正在寻找工作，请分享您的信息。请使用以下格式：
<p><pre><code> 地点：
远程工作：
愿意搬迁：
技术：
简历：
电子邮件：
</code></pre>
请仅在您个人寻找工作时发布信息。代理机构、招聘人员、招聘网站等内容不在讨论范围内。
<p>读者：请仅通过这些地址发送电子邮件以讨论工作机会。
<p>求职者：请尝试访问 <a href="https://nthesis.ai/public/hn-wants-to-be-hired" rel="nofollow">https://nthesis.ai/public/hn-wants-to-be-hired</a> 和 <a href="https://www.wantstobehired.com" rel="nofollow">https://www.wantstobehired.com</a>。
我一直在将PDF书籍转换为网页文档，以便于自己的阅读。将书籍拆分成章节、搜索特定段落，以及添加高亮和注释，感觉比使用标准的PDF查看器方便得多。我将这个设置整理成一个名为“书籍工作室”的模板，以便其他人也能使用。
这个模板基于Fumadocs，提供了一种现代化的文档风格阅读体验。
它包括一个代理技能，可以将PDF导入为基于章节的MDX，同时支持搜索、高亮、注释和阅读位置跟踪。
身份验证通过密码钥匙进行处理。
您可以使用Vercel和Neon从模板部署自己的副本。如果您想将PDF转换为个人阅读环境，不妨试试看。
[演示](<a href="https://book-studio-sample.vercel.app" rel="nofollow">https://book-studio-sample.vercel.app</a>) · [GitHub](<a href="https://github.com/mym0404/book-studio-template" rel="nofollow">https://github.com/mym0404/book-studio-template</a>)