嘿,HN,
我们已经达到了“聊天界面”的巅峰。Claude Desktop 和 OpenAI 在编程方面表现出色,但在重复性、蓝领或传统企业工作流程中却表现糟糕。
你无法将 Claude Desktop 部署到仓库或汽车修理店,并期望工人每五分钟就通过一个专有的图形用户界面或锁定的 PDF 进行提示工程。他们不想进行对话;他们只想要一个可以完成工作的按钮。
因此,我构建了 OmniGlass(Rust/Tauri)。这是一个开源的、本地优先的运行时,允许开发者将任何 MCP(模型上下文协议)工具转变为一键式的操作系统级视觉动作。
开发者的使用方式:
你编写一个标准的 MCP 服务器(例如,一个查询内部数据库的 30 行 Node 脚本)。OmniGlass 处理视觉管道:
触发器:用户截取屏幕的一部分。
视觉:本地操作系统 OCR(Apple Vision)提取文本(无需屏幕流)。
“大脑”:一个大型语言模型(LLM)动态地将原始 OCR 文本映射到你的 MCP 工具的严格 JSON 输入模式。
动作:OmniGlass 立即在屏幕上渲染一个本地按钮。用户点击它。工具执行。无需提示。
现实世界的应用案例(为什么这很重要):
我在 ProblemHunt 上发现了一个来自汽车修理店的 1000 美元悬赏。技师们浪费了几个小时查看非正式的 WhatsApp 消息(“左侧散热器塞,奇瑞 Tiggo”),并手动将其与杂乱无章、无法搜索的中文汽车零件 PDF 进行交叉参考。
一个标准的 AI 聊天应用在这里失败了,因为存在摩擦。但使用 OmniGlass,开发者可以构建一个“查找汽车零件”的 MCP 插件。你将其部署到技师的 Mac 上。技师只需截取 WhatsApp 消息,点击弹出的“查找零件”按钮,插件就会查询供应商 API。技师从未与 AI 对话。它只是执行。
安全沙箱(为什么不直接使用 Claude 的 MCP 集成?):
Claude Desktop 以原始用户权限运行 MCP 工具。一次幻觉或提示注入可能会读取你的 ~/.ssh 密钥。由于 OmniGlass 旨在部署在企业中,因此它完全以零信任模式运行。每个 MCP 插件都被锁定在 macOS 沙箱执行内核配置文件中。/Users 目录默认拒绝访问。
我对 HN 的请求:
这是供开发者构建的基础设施,我需要帮助推动它向前发展:
汽车零件悬赏:我想构建中文汽车零件插件来证明这个平台。如果这里有人有抓取或查询 B2B 汽车供应商数据库的经验,让我们合作并领取这个悬赏。
打破我的沙箱:如果你能编写一个逃离我的沙箱执行配置文件并读取受保护文件的 MCP 插件,请立即在 GitHub 上打开一个问题。我希望这个系统是防弹的。
操作系统移植:Rust 核心非常稳固,但如果有任何低级开发者了解 Windows AppContainer 或 Linux Bubblewrap,我希望能得到帮助来移植安全防护。
代码库: [https://github.com/goshtasb/omniglass](https://github.com/goshtasb/omniglass)
文档/插件指南: [https://github.com/goshtasb/omniglass/blob/main/docs/plugin-guide.md](https://github.com/goshtasb/omniglass/blob/main/docs/plugin-guide.md)
你会为哪些传统企业工作流程构建视觉工具?
返回首页
最新
AgentDbg 是一个以本地为主的 AI 代理调试器。它将结构化的运行记录(包括 LLM 调用、工具调用、状态、错误)保存为 JSONL 格式,并在本地显示时间线界面。无需云服务、账户,也没有遥测功能。
使用流程简单如下:
```
1. 运行代理
2. `agentdbg view`
3. 检查时间线、循环警告、错误等。
```
v0.1 版本包括 `@trace` 和 `traced_run` 记录器、循环检测、尽力而为的内容遮蔽(默认情况下)、本地用户界面和导出功能。我还开始着手进行集成:提供了一个可选的 LangChain/LangGraph 回调。
* 仓库: [https://github.com/AgentDbg/AgentDbg](https://github.com/AgentDbg/AgentDbg)
* 演示:运行 `python examples/demo/pure_python` 然后执行 `agentdbg view`
希望能收到关于以下方面的反馈:
```
1. 跟踪格式
2. 在接下来的几天内优先考虑的集成
3. 您希望实现的确定性重放功能
```
GLP-1药物的第一阶效应显而易见:人们减轻了体重,诺和诺德和礼来赚得盆满钵满。但如果在十年内,10-15%的成年人都在使用减肥药,会发生什么?下游的后果讨论得较少,几乎肯定没有被纳入任何定价中。
2018年,美国联合航空公司为其机上杂志更换了更轻的纸张。每本减少一盎司。在4500个每日航班中,这每年节省了17万加仑的燃料。航空公司在这个层面上考虑重量,因为燃料是它们最大的可变成本。
使用赛美特肽(semaglutide)的人平均减重约35磅。如果在典型的737航班上,12%的乘客正在使用这种药物,那么每个航班大约减少750磅的重量,相当于减少了12000本杂志的重量。联合航空花了几个月的时间来优化纸张,以每年节省29万美元的燃料。GLP-1在飞行人群中的普及可能会悄然为他们节省数量级更多的费用,而当乘客变轻时,票价并不会下降。
食品供应链的影响更为明显,但规模更大。如果大部分人群的食量减少20-30%,对卡路里的需求就会下降。这不是偏好向沙拉转变,而是药理学上减少人们的食量。食品行业以前曾应对过口味变化,但从未面临过来自医疗系统的需求冲击。
健康保险面临一个更微妙的问题。GLP-1覆盖的宣传是,这些药物可以预防后续昂贵的疾病:糖尿病、心脏病、关节置换。这可能是事实。但在美国分散的保险市场中,今天为药物支付费用的公司,可能并不是五年或十年后为该患者提供保险的公司。节省的费用落在了其他公司的资产负债表上。这种不匹配可能会单独拖慢采用的速度。
肥胖与较低的劳动力参与率和较高的缺勤率相关。如果GLP-1显著降低肥胖率,整体劳动供给将会上升。更多的人在工作,健康相关的缺勤减少。这是一种宏观经济刺激,尽管没有人以这种方式来框架它,因为它来自制药公司,而不是国会。
早期数据显示,GLP-1也减少了对酒精、尼古丁和赌博的渴望。针对阿片类药物使用障碍的第二阶段试验正在进行中。一种减肥药意外影响了帝亚吉欧的收入和赌场客流,这并不是任何人对Ozempic的原始投资理论中的内容。
我认为最难以思考的影响是心理层面的。几个世纪以来,体重与羞耻、身份和社会等级交织在一起。当体重成为你通过处方管理的事情时,身体积极性、吸引力的社会动态、围绕饮食和自律的整个文化机制会发生什么?我没有一个好的框架来理解这一点。之前没有发生过类似的事情。
市场将其视为制药故事。制药公司将捕捉到创造和破坏的总价值的一部分。其余的则在食品、航空公司、保险、劳动市场和社会行为之间重新分配。没有人的模型可能会同时覆盖所有这些。