一周热榜

嗨，HN，我是Shubham，一名3D艺术家，在大学时学习了编程，作为IT专业毕业生，我了解一些逻辑，但并不是专家，只是想尝试一下人工智能。 我构建了“弹性工作流哨兵”，这是一个离线AI代理，可以根据紧急程度（低、中、高）对任务进行分类，并根据候选人的可用性进行分配。我希望有一个离线系统，让人们可以信任其敏感数据，确保数据完全保留在本地。 我确实使用AI来加速编码和减少人工成本。这个系统运行在RTX 3080的设备上（这是一个基本的、经济实惠的设置，而不是重型AI机器），我希望在不进行重大升级的情况下使其变得可靠。 这个完整的系统不需要Ollama（我并不反对它）。我注意到在公司中，工单通常是在Jira和Slack上提出的。目前，员工或经理（自我管理）必须手动逐一阅读这些工单，或者将它们发送到云端。但问题在于，很多敏感数据无法发送，因为他们不信任云端，这使得手动筛选成千上万的工单变得非常困难。 想象一下，如果你能将所有任务按紧急程度和分配进行分类，你可以有选择性地查看哪些任务是紧急的，需要立即处理，并且所有信息都不会离开你的办公大楼，完全安全。 此外，API发送并不是唯一的问题，你为每个任务支付的代币费用可能每月在100到1000美元之间，这对于初创公司或其他企业来说，可以节省很多麻烦。 在开始时，我尝试了诸如“思维链”、“RISE（先评估负面）”等提示，提供负面和正面示例，但在常识问题上遇到了一些困难（后来我改变了方法）。虽然提示确实给出了输出，并且效果不错，但处理单个任务的时间过长，大约需要70到90秒。 然后我尝试了批处理，但偏差变得更严重，模型总是偏向某些特定的提示，忽略了更多的提示。对于JSON输出，我使用了约束，使模型只能生成JSON，如果失败，还有一个解析器在我实施提示时使用。 这将每个任务的处理时间从90秒减少到大约15到30秒。我使用了引导向量来纠正注意力问题。 技术栈： - 语言：Python 3.10 - 模型：qwen2.5-7b-instruct - 库：Pytorch，Hugging Face Transformers（不使用Langchain，不使用Ollama） - API：Fast API - 用户界面：NiceGUI - 硬件：Ryzen 5，16GB RAM，RTX 3080 实施细节： - 量化：以nf4量化加载模型，使得像7b这样的模型可以适配10GB的显存，这在RTX 3080上也是我的硬件。 - 引导向量：标准提示不足以满足需求。我需要在大型语言模型的某一层阻止或引导某些内容，以提高可靠性。 - JSON约束：使用约束使模型严格输出JSON，并防止过度解释，这发生在logits层面，阻止不必要的token等。 GitHub链接：[https://github.com/resilientworkflowsentinel/resilient-workflow-sentinel](https://github.com/resilientworkflowsentinel/resilient-workflow-sentinel) YouTube链接：[https://youtu.be/tky3eURLzWo](https://youtu.be/tky3eURLzWo)

我很好奇您在配置良好的 M3 Ultra 或 M4 Pro Mac Studio 上运行本地大型语言模型（LLM）的经验。我注意到关于 Mac Studio 用于本地 LLM 的讨论不多，但似乎您可以利用共享的显存将大型模型加载到内存中。我猜测生成令牌的速度可能较慢，但由于可以加载更大的模型到内存中，您可能会获得更高质量的结果。

我认为代理应该像真正的团队一样运作，具备独立且明确的角色、异步沟通的能力，以及在不重组整个组织的情况下能够引入新队友或工具。我曾在雅虎和抖音构建后端系统，因此事件驱动的代理对我来说显而易见。但当时没有代理SDK采用这种模式，所以我创建了Calfkit。 Calfkit将代理分解为独立的服务（如LLM推理、工具和路由），通过Kafka进行异步通信。代理、工具服务和下游消费者可以独立部署、添加、移除和扩展。 如果你对此感兴趣，可以看看！我很想知道你们的看法。

嗨，HN，我创建了ec，因为我的一些新手朋友在开发过程中经常遇到Git冲突的问题。 大多数基于终端的合并工具对他们来说使用起来都比较困难或不够直观。他们觉得唯一容易上手的流程是IntelliJ（JetBrains）的冲突解决器，因此我在终端中重现了这种体验。 ec是一个终端原生的三窗格冲突解决器，提供了一个专注的、逐步的流程。如果你尝试使用并给出反馈，我将非常感激。谢谢！ 代码库：<a href="https:&#x2F;&#x2F;github.com&#x2F;chojs23&#x2F;ec" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;chojs23&#x2F;ec</a>

我很好奇，不确定人工智能是否只是炒作。我在软件和其他一些事情上使用它。但看到那么多人谈论通用人工智能（AGI），而目前最好的模型连简单的问题都无法正确回答，工具使用也失败，且容易受到各种不合逻辑的注入攻击，我感到困惑。 我不知道对人工智能的投资是否值得，但我是否因为看不到近期通用人工智能的希望而盲目呢？ 代理型人工智能或许有趣，但我几乎没有见过它完美地工作，我必须在每个环节上都引导它。 人们随意声称通用人工智能即将到来，真的让我对人工智能的整体信心大打折扣。考虑到过去几年除了更好的工具和包装外，我并没有看到太多的改进，而这些模型也只是与这些工具和包装配合得更好。

我很好奇其他人是如何处理这个问题的：我在某些任务中使用Claude，编程时用Cursor，研究时用ChatGPT，快速查找时用Perplexity。<p>问题是它们之间并不知道我与其他工具讨论过的内容。<p>我发现自己不得不反复重新解释相同的背景，或者从Notion文档中复制粘贴。<p>对于那些大量使用AI工具的朋友们：<p>- 你们是如何管理不同工具之间的共享上下文的？<p>- 你们目前的工作流程是怎样的，以保持AI的“记忆”一致？<p>- 你们找到过什么有效的解决方案吗？<p>特别希望听到那些需要多个人在不同AI会话中访问相同知识库的团队的经验。

嗨，HN， 我正在寻找一款无干扰的写作设备，考虑购买一台超便宜的笔记本电脑，只用来运行vim/nano。 我希望： - 电池续航优秀 - 键盘手感良好 - 具备睡眠/唤醒功能（为什么在Linux上实现这一点这么困难？） 我在考虑某种类型的Chromebook？或者一台旧的ThinkPad？

我的妻子计划开一家微型面包店。我们查看了生产管理软件，但要么价格昂贵，要么过于通用。实际上，小批量生产的工作流程并不复杂，因此我自己开发了一个并将其开源。 Craftplan 处理食谱（版本化的物料清单和成本汇总）、库存（批次追踪、需求预测、过敏原跟踪）、订单、生产批次计划和采购。该软件使用 Elixir、Ash Framework、Phoenix LiveView 和 PostgreSQL 构建。 在线演示： [https://craftplan.fly.dev](https://craftplan.fly.dev) （测试邮箱：test@test.com / 密码：Aa123123123123） GitHub： [https://github.com/puemos/craftplan](https://github.com/puemos/craftplan)

我是Guy，Snyk的创始人，现在正在构建Tessl，一个用于代理技能的包管理器。 我们最近注意到，大多数团队仍然将技能视为静态的工件：Markdown文件，这些文件是从一个代码库创建或复制到另一个代码库的。 这种方法虽然在初期提供了强劲的推动力，但很快就会造成债务： - 技能被重复创建，更新从未推送。 - 质量较差的技能被忽视，反而误导了代理而不是帮助他们。 - 技能知识变得陈旧，无法跟上所描述的系统和实践。 如果没有评估技能的方法，团队就无法清楚地了解一个技能的实际质量，或者它是否随着时间的推移而退化。 我们相信，评估是确保技能质量的基础。 考虑到这一点，我很高兴地宣布，Tessl注册中心包含超过2000个技能的评审评估，您可以请求对任何公共技能进行评估。 我对此次发布感到非常兴奋——期待您的反馈，并期待更多的增强功能在排队中！

想收集一些关于因人工智能被解雇的人的故事。不是那种通用的“重组”，也不是新闻稿中所说的，而是因为人工智能的真实原因。有没有相关的证据？