3作者: seng2 个月前原帖
我的团队找到了我:“我们无法估算这个项目。我们不理解系统是如何运作的。” 我们继承了一个已有十年历史的Yii2代码库。之前的两个团队尝试过现代化,但都失败了。代码遵循了正确的模式——ORM、肥模型、MVC——但有一个功能需要跨越8层的40多个文件。原始开发者已经离开,文档也是2019年的。 Cursor和Claude Code无法提供帮助。他们在处理单个文件时非常出色,但无法看到功能如何在数百个文件之间连接。上下文窗口有限,且会话之间没有记忆。 于是我凭借直觉编写了一些代码来解决这个问题。我并不是专业开发者,而是出于创始人的绝望。 18个月后,它变成了CodeCompass: - 将能力映射到分散的代码上 - 跨层追踪逻辑 - 在几秒钟内回答“X是如何工作的?” - 为AI助手提供持久的上下文 我将其开源了。我与每个企业交谈时,他们都有同样的问题。 https://pearlthoughts.com/codecompass
2作者: bjourne2 个月前原帖
欧盟和美国都在机场引入了面部扫描技术,以“提高安全性”。目前,欧盟的规定更加严格,而美国的规定则允许一些对面部扫描感到不适的人选择退出。但这只是时间问题,最终这项技术将成为对所有人的事实上的强制措施。他们声称数据不会被保留或与其他方共享。是的,我完全相信这一点……对此能采取什么措施吗?我相信很少有顾客认为面部扫描是一种改善。
2作者: vlejd2 个月前原帖
要从稀疏性中获得好处,通常需要非常稀疏的矩阵、对稀疏模式施加某种结构,或者使用专用硬件。如果你想在消费级设备上运行剪枝后的大型语言模型(LLMs),以上条件都不适用。 我想看看在GPU上能推到什么程度,最终得到了这个结果。 博客:<a href="https:&#x2F;&#x2F;www.grizzlytech.dev&#x2F;blog&#x2F;macko-spmv" rel="nofollow">https:&#x2F;&#x2F;www.grizzlytech.dev&#x2F;blog&#x2F;macko-spmv</a> 论文:<a href="https:&#x2F;&#x2F;arxiv.org&#x2F;abs&#x2F;2511.13061" rel="nofollow">https:&#x2F;&#x2F;arxiv.org&#x2F;abs&#x2F;2511.13061</a> 代码(使用torch的示例):<a href="https:&#x2F;&#x2F;github.com&#x2F;vlejd&#x2F;macko_spmv" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;vlejd&#x2F;macko_spmv</a>
2作者: 539hex2 个月前原帖
我构建了一个开源的恶意软件检测守护进程,能够实时监控所有正在运行的进程,采用机器学习和启发式方法。无需内核模块或 eBPF。 关键点: - 轮询 /proc 以检测新进程(适用于任何 Linux 内核 2.6 及以上版本) - 基于 EMBER 2018 数据集(230 万样本)训练的随机森林模型 - 针对加密矿工、勒索软件和根套件的启发式规则 - 约 20MB 内存占用,CPU 使用率低于 1%,扫描延迟在毫秒级 - 纯 C 编写,无运行时依赖 - 模型直接嵌入二进制文件中(50KB) 我构建这个工具的原因: 现有的解决方案要么需要现代内核(eBPF),要么过于庞大或专有。我希望有一个轻量级的解决方案,能够在各种环境中工作——服务器、容器、旧版发行版。 检测方法: 从可执行文件中提取特征(熵、导入、段),运行机器学习预测,应用启发式规则,结合得分。如果超过阈值,则终止该进程。 欢迎讨论实现细节或 Linux 安全相关内容。
4作者: Weves2 个月前原帖
大家好,HN的朋友们,我们是来自Onyx的Chris和Yuhong(<a href="https://github.com/onyx-dot-app/onyx" rel="nofollow">https://github.com/onyx-dot-app/onyx</a>)。我们正在构建一个开源聊天工具,它可以与任何大型语言模型(LLM,包含专有和开源权重)兼容,并且为这些LLM提供所需的工具,使其更具实用性(如RAG、网页搜索、MCP、深度研究、记忆等)。 <p>演示:<a href="https://youtu.be/2g4BxTZ9ztg" rel="nofollow">https://youtu.be/2g4BxTZ9ztg</a></p> 两年前,Yuhong和我面临着同样的反复出现的问题。我们所在的团队在不断壮大,而在我们的文档、Slack、会议记录等中找到正确的信息变得极其困难。现有的解决方案需要发送公司的数据,缺乏定制化,坦率地说,效果也不佳。因此,我们开始了Danswer,这是一个开源企业搜索项目,旨在自托管并易于定制。 <p>随着项目的发展,我们开始看到一个有趣的趋势——尽管我们明确是一个搜索应用,但人们希望使用Danswer仅仅是为了与LLM聊天。我们听到有人说:“连接器、索引和搜索都很好,但我会先连接GPT-4o、Claude Sonnet 4和Qwen,以为我的团队提供一种安全的使用方式。”</p> 许多用户后来会添加RAG、代理和自定义工具,但大部分使用仍然保持在“基本聊天”层面。我们想:“为什么人们要使用一个企业搜索工具,而其他AI聊天解决方案也存在呢?” <p>在与用户的持续交流中,我们意识到两个关键点:</p> (1) 仅仅为公司提供安全访问LLM的良好用户界面和简单工具,是AI增值的一个重要部分。 (2) 以一种“良好”的方式提供这一点比你想象的要困难得多,标准非常高。 像ChatGPT和Claude这样的消费产品已经提供了很好的体验——而在工作中与AI聊天是理想情况下公司每个人每天使用10次以上的功能。人们期望拥有同样快速、简单和直观的用户体验,并且具备完整的功能集。将数百个小细节处理得当,从“这能用”提升到“这感觉很神奇”并不容易,而在这个领域没有其他产品能够做到这一点。 <p>因此,大约三个月前,我们转向了Onyx,一个开源聊天用户界面,具备:</p> - (真正的)世界级聊天用户体验。既适合刚毕业的大学生,也适合第一次使用AI工具的行业老手。 - 支持所有常见的附加功能:RAG、连接器、网页搜索、自定义工具、MCP、助手、深度研究。 - RBAC、SSO、权限同步,便于本地托管,适合大型企业使用。 通过构建跨模型提供商工作的深度研究和代码解释器等功能,我们学到了许多关于工程LLM的非显而易见的知识,这些知识对使Onyx正常运作至关重要。我想分享两个特别有趣的点(欢迎在评论中讨论更多)。 <p>首先,上下文管理是最难且最重要的事情之一。我们发现LLM在长时间对话中确实很难记住系统提示和之前的用户消息。即使是简单的指令,如“忽略类型X的来源”,在系统提示中也常常被忽略。这种情况在多次工具调用时更为严重,因为这往往会输入大量的上下文。我们通过“提醒”提示解决了这个问题——在用户消息末尾注入的1-3句简短说明,描述LLM必须遵守的非谈判条件。经验表明,LLM最关注上下文窗口的最后部分,因此这种放置方式提高了遵守的可能性。</p> <p>其次,我们需要了解某些模型在使用工具时的“自然倾向”,并围绕这些倾向进行设计。例如,GPT系列模型经过微调,使用在Jupyter笔记本中运行的Python代码解释器。即使明确告知,它也拒绝在最后一行添加`print()`,因为在Jupyter中,这最后一行会自动写入stdout。其他模型没有这种强烈的偏好,因此我们不得不设计我们的模型无关的代码解释器,以自动`print()`最后一行裸代码。</p> 到目前为止,我们已经让一家财富100强的团队分叉了Onyx,并为1万多名员工提供了在单一界面中访问每个模型的权限,并为每个部门创建了数千个特定用例的助手,每个助手都使用最适合工作的模型。我们看到在敏感行业运营的团队完全隔离了Onyx与本地托管的LLM,以提供一种否则无法实现的副驾驶功能。 如果您想试用Onyx,请访问<a href="https://docs.onyx.app/deployment/getting_started/quickstart">https://docs.onyx.app/deployment/getting_started/quickstart</a>,在不到15分钟的时间内使用Docker进行本地设置。关于我们的云服务,请访问<a href="https://www.onyx.app/">https://www.onyx.app/</a>。如果您希望看到任何功能,以使其成为替代您的ChatGPT Enterprise/Claude Enterprise订阅的无脑选择,我们非常乐意听取您的意见!