返回首页

一周热榜

26作者: xlayn6 天前原帖
我在消费级AMD GPU(RX 7900 XT + RX 6950 XT)上复现了David Ng的RYS方法([链接](https://dnhkng.github.io/posts/rys/)),并发现了一些意想不到的结果。 变压器似乎具有离散的“推理电路”——由3到4层连续组成的块,作为不可分割的认知单元。复制正确的块后,模型的推理流程会运行两次。权重没有变化,没有训练,模型只是思考得更久。 在标准基准测试(lm-evaluation-harness,n=50)上的结果如下: Devstral-24B,层12-14复制一次: - BBH逻辑推理:0.22 → 0.76 - GSM8K(严格):0.48 → 0.64 - MBPP(代码生成):0.72 → 0.78 - 没有任何下降 Qwen2.5-Coder-32B,层7-9复制一次: - 推理探测:76% → 94% 奇怪的是,不同的复制模式会从相同的权重中产生不同的认知“模式”。双重通过提升了数学能力,三重通过提升了情感推理。交错复制(13,13,14,14,15,15,16)则创造了一个纯数学专家。相同的模型,相同的显存,不同的路由。 电路边界非常清晰——移动一层,效果就会消失或反转。较小的模型(24B)比较大的模型(Ng在72B中发现7层)具有更紧凑的电路(3层)。 在这个代码库中,有工具可以在任何GGUF模型中找到电路并应用任意层路由。整个过程——扫描、发现、验证——只花了一个晚上。 欢迎提问。
25作者: bblcla6 天前原帖
嘿,HN,如果你有幸乘坐过配备Starlink的航班,你就会明白这种技术的热度。它确实有效!<p>然而,Starlink在航班上的可用性并不稳定,难以预测。因此,我们建立了一个数据库,涵盖所有已推出Starlink(不仅仅是试点)的航空公司,并开发了一个航班搜索工具来进行预测。只需输入航班号和日期,我们就能根据飞机类型和尾号估算航班上配备Starlink的可能性。<p>如果你没有即将到来的旅行,也可以查找特定航线,看看哪些航班提供Starlink服务。你可以在这里找到相关信息:<a href="https://stardrift.ai/starlink">https://stardrift.ai/starlink</a>。<p>-<p>我还想补充一些关于这个工具如何工作的说明。我们在回答查询时会依次检查三个方面:<p>- 这家航空公司是否提供Starlink?<p>- 这架飞机是否配备Starlink?<p>- <i>这架特定的飞机</i>是否配备Starlink?<p>目前,只有少数几家航空公司提供Starlink:联合航空、夏威夷航空、阿拉斯加航空、法国航空、卡塔尔航空、JSX航空以及其他少数几家。因此,如果一架飞机由其他航空公司运营,我们可以立即给出否定答案。<p>接下来,我们会检查正在飞行的具体机型。航空公司通常会提前发布设备分配信息,并且它们也在逐步将Starlink推广到每架飞机上。因此,我们知道,例如,所有JSX的E145飞机都配备了Starlink,而法国航空的A320飞机则没有配备Starlink。(你可以在<a href="https://stardrift.ai/starlink/fleet-summary">https://stardrift.ai/starlink/fleet-summary</a>查看我们数据的总结,尽管实时逻辑中有一些规则未在此编码。)<p>如果机型完全匹配,我们可以自信地告诉你你的航班将配备Starlink。然而,在大多数情况下,航空公司仅对该机型进行了<i>部分</i>升级。在这种情况下,我们需要更深入地查找,确定<i>哪一架</i>飞机将飞往你的航线。<p>我们可以通过查找“尾号”(可以把它想象成飞机的车牌)来做到这一点。<i>不幸的是</i>,尾号通常是在航班起飞前几天才会分配。因此,在那之前,我们能做的最好是计算你的飞机被分配到配备Starlink的飞机的概率。<p>为此,我们必须建立一个飞机尾号与Starlink状态的映射。在这里,我要感谢那些在线航空爱好者,他们维护着详细的电子表格和论坛帖子来追踪这些数据!据我了解,<i>他们</i>通常从对Starlink推广充满热情的航空公司员工那里获取这些数据,因此这是一个可靠且经常更新的来源。我们的大部分工作是寻找每个来源,规范它们的格式,建立一个可靠且负责任的系统来提取这些数据,并将它们与我们的其他数据源结合起来。<p>基本上,这就是一个数据规范化的问题!我曾在金融数据系统方面工作,惊讶于这个问题的相似性。<p>-<p>Starlink本身也是一项相当酷的技术。我还写了一篇博客文章(<a href="https://stardrift.ai/blog/why-is-starlink-so-good">https://stardrift.ai/blog/why-is-starlink-so-good</a>),讲述了为什么它比其他所有飞机Wi-Fi选项要好得多。从高层次来看,这一切的可能性源于如今火箭发射成本的降低,这真是太酷了。<p>其性能非常出色,因此在可能的情况下,围绕它来规划你的航班是非常值得的。目前,在美国,你最好的选择是联合航空的区域航班和JSX/夏威夷航空。国际航班方面,卡塔尔航空是最佳选择(尽管显然现在不是),法国航空则排在第二位。不过,随着更多航空公司逐步推出,我们的数据库将会不断更新!
24作者: peteski221 天前原帖
大家好,我是来自Staff Engineer和Mozilla.ai的Peter,我想分享我们关于共享智能体学习标准的想法,从概念上来说,这似乎很容易融入我的思维模型,就像是智能体的Stack Overflow。 这个项目旨在探索是否可以让智能体(任何智能体,任何模型)提出“知识单元”(KUs),作为基于在使用过程中遇到的难点的标准架构,并主动查询现有的KUs,以获取可以验证和确认其有用性的见解。 目前这仍然是一个概念验证(PoC),在代码库中有一个更宏伟的提案,我们正在尝试从本地使用迭代到团队层面,理想情况下最终能够建立某种公共资源。 在团队层面(请参见我们的Docker Compose示例),您的编码智能体被配置为指向团队的API地址,以便将KUs发送到那里——这些KUs可以通过浏览器中的用户界面(HITL)由人类进行审核,然后才能在您团队的其他智能体的查询中出现。 即使在内部的各种代码库中本地使用,我们也学到了很多,不仅是在它生成的KUs方面,还有从用户体验的角度来看,努力使其易于使用并在浏览器仪表板中批准KUs。未来还有更大、更复杂的问题需要解决,比如数据隐私、治理等,但目前我们非常专注于让人们在日常工作中快速看到一些价值。 技术栈: * 技能 - markdown * 本地Python MCP服务器(FastMCP) - 管理本地SQLite知识库 * 可选的团队API(FastAPI,Docker)用于在组织内共享知识 * 作为Claude Code插件或OpenCode MCP服务器安装 * 默认本地优先;您的知识保留在您的机器上,除非您通过在配置中设置地址选择团队同步 * 开源软件(Apache 2.0许可证) 以下是一个看似简单的例子,当我请求Claude Code编写GitHub操作时,它经常使用多个主要版本过时的操作,因为它的训练数据。在这种情况下,我告诉智能体我在审查它创建的GitHub操作YAML文件时看到的内容,它提议将知识单元持久化。下次在一个完全不同的代码库中使用OpenCode和OpenAI模型时,cq技能在开始任务之前就被使用,并获取了关于训练数据中主要版本的难点信息,并主动检查了GitHub,使用了正确的最新主要版本。然后它确认了KU,增加了置信度分数。 我想有些人可能会说:好吧,你的代码库中有一个CLAUDE.md,或者在~/.claude/中,但我们希望的不止于此,我们希望这对所有智能体、所有模型都可用,也许更重要的是,我们不想在AGENTS.md或CLAUDE.md中填满大量导致不可预测行为的规则,这些是针对特定任务的目标信息,似乎更有用。 现在可以作为Claude Code和OpenCode的插件本地安装: ``` claude plugin marketplace add mozilla-ai/cq claude plugin install cq ``` 这允许您在本地~/.cq/local.db中捕获数据(数据不会发送到其他地方)。 我们非常希望能收到对此的反馈,代码库是开放和公开的——欢迎在GitHub上提出问题。我们在一些社交媒体平台上发布了链接到博客文章(如下),如果您觉得有用或遇到问题,请随时回复我们,我们希望让这个项目对每个人都能访问。 博客文章的完整故事: [https://blog.mozilla.ai/cq-stack-overflow-for-agents](https://blog.mozilla.ai/cq-stack-overflow-for-agents) GitHub代码库: [https://github.com/mozilla-ai/cq](https://github.com/mozilla-ai/cq) 再次感谢您的时间。
23作者: artursapek2 天前原帖
我在10个月前开始构建这个项目,主要使用了自主编码工具。我一直非常参与代码库和架构的开发,作为开发者,我从未如此快速地推进过项目。 文字处理引擎和渲染层都是从零开始构建的——我唯一使用的第三方库是优秀的Y.js,用于CRDT栈。 非常希望能得到一些反馈!