我们持续推出“简单”的大语言模型(LLM)功能,这些功能虽然流畅但常常出错。在经历了太多的事后分析后,我们总结了失败模式,并在模型前添加了一个小的推理层。这个推理层与模型无关,可以与您现有的技术栈并行使用,您可以通过一份PDF文档(MIT许可)来实现它。
**PDF内容概览**
这份PDF中包含了我们在实际系统中遇到的16种失败模式的问题图谱(如OCR/布局漂移、表格与问题不匹配、嵌入≠意义、部署前崩溃等)。
您今天可以添加的四个轻量级门控:
1. 知识边界探测器(空的/对抗的/已知事实探测)。
2. ΔS“语义跳跃”检查,用于捕捉当草稿答案偏离检索上下文时的流畅无意义内容。
3. 布局感知锚定,以确保在跨PDF/表格分块时不会默默中断路由。
4. 最小语义追踪,用于事件回顾(小型,不是完整的转录)。
**基准快照**(相同模型,有无门控的对比):语义准确率提高22.4% · 推理成功率提高42.1% · 稳定性提高3.6倍。
**用户反馈(最近约50天)**
- PDF下载量约2400次。
- 相关材料在GitHub上获得约300个冷启动星标(没有营销推广)。
- 还获得了tesseract.js创作者的星标,这在OCR界得到了很好的验证。
**为什么这对您可能有用**
您不需要更换模型或供应商。PDF描述了您可以直接放入任何RAG/代理/服务管道的检查逻辑。
无需服务器、SDK或代理层——仅需您可以复制的逻辑。
链接是Git仓库。
欢迎回答HN风格的问题(什么会出错,在哪里失败,消融实验,我们如何计算ΔS等)。如果您尝试后没有帮助,我也对反例感兴趣。
与Tesseract(OCR传奇)获得星标的验证,我们在top1上是WFFY。
[GitHub链接](https://github.com/bijection?tab=stars)
返回首页
最新
你好,我创建了这个平台,旨在帮助人们使用 Vapi.ai 开始建立自己的电话语音 AI 代理机构。目前,代理机构为客户提供能够进行客户服务、预约和电话冷联系的语音 AI 代理,但他们没有办法向客户提供代理的表现、工作内容以及根据使用情况进行计费的洞察。这就是我创建这个平台的原因,因为在我考虑基于 Vapi AI 创建产品时,我自己也遇到了这个问题。
嘿,HN!
我们正在开发Limitly,这是一种即插即用的解决方案,用于管理API密钥、速率限制和任何基于API的产品的使用计划。<p>它包括一个网页仪表板、一个REST API和一个SDK(支持Node.js、Next.js和Python)。您可以定义使用层级、撤销密钥、设置限制并监控消费——无需重新发明轮子。<p>我们之所以开发这个工具,是因为厌倦了在每个项目中都要构建定制的密钥系统。<p>我们非常希望听到您的反馈,并了解您目前是如何处理API安全和速率限制的!
<a href="https://www.limitly.dev" rel="nofollow">https://www.limitly.dev</a>