最新

我在科技行业作为软件工程师工作了很长一段时间，现在我意识到这让我感到痛苦。从表面上看，我似乎应该拥有一份非常成功的职业：高薪的远程工作，资深/员工级别，专业知识相对广泛但偏向后端，通常有不错的同事和经理等等。然而，实际上，我的情况却很糟糕！我在所有职位上的任期都相对较短，因为我总是选择那些我的经理或同事在我之前就开始辞职的工作；由于工作压力引发的健康问题，我的储蓄已经耗尽，因此我无法承担在工作之间长时间的空档；无论是合同工还是全职员工，我最终遇到的雇主似乎总是对工程提出几乎不可能的要求，破坏了团队的士气；还有很多其他问题。我看心理治疗师，也看了几位医生来处理我遇到的健康问题，但我觉得无论多少治疗和药物都无法解决根本问题。 我觉得自己是个失败者，因为我无法应对这份本应是最有特权的职业之一。如果我能接受50-60%的薪水削减，以换取减轻压力或更好的工作与生活平衡，我想我会毫不犹豫地接受，但我甚至不知道现在是否还有这样的工作。 我该如何摆脱这种状况？做软件工程师对我来说是否已经不再合适？

我做了一个关于稳定币的艺术项目。希望你喜欢！

大家好，HN的朋友们，这里是Henry和Roman，我们正在开发Cactus（<a href="https://cactuscompute.com">https://cactuscompute.com</a>），一个专为手机设计的AI推理引擎。 我们看到设备端AI正在快速发展，这有很好的理由：设备端AI将延迟从超过1秒减少到低于100毫秒，默认保证隐私，能够离线工作，并且在大规模使用时不会产生巨额的API费用。 此外，工具和智能设计使得小模型在基准测试之外表现出色。这一点得到了其他论文的证实，例如<a href="https://arxiv.org/abs/2506.02153">https://arxiv.org/abs/2506.02153</a>，我们也看到像DeepMind这样的模型公司正在积极推出小型模型，如Gemma3的270m和308m。我们发现Qwen3的600m在工具调用方面表现非常出色。 然而，在实时推理中，瓶颈变得明显，这对于可穿戴设备和世界模型至关重要。一些框架已经尝试解决这个问题，但在我之前的工作中，它们在生产环境中的表现与研究和实验环境相比存在困难： - 它们针对现代设备进行了优化，但目前70%的手机属于中低端预算。 - 应用程序包的臃肿和电池消耗是用户的严重关切。 - 手机GPU的电池消耗不可接受，NPUs更受欢迎，但目前只有少数手机配备了这些。 - 一些是平台特定的，需要为不同的操作系统提供不同的模型和工作流程。 在Cactus，我们从零开始编写了内核和推理引擎，以便在任何手机上本地运行AI。 Cactus专为移动设备及其限制而设计。每一个设计选择，如能效、加速器支持、量化水平、支持的模型、权重格式和上下文管理，都是基于这一点做出的。我们还为应用开发者提供了极简的SDK，以便他们用2-5行代码构建智能工作流。 当我们启动这个项目时，我们在Show HN上发布了一条帖子以获取社区的反馈（<a href="https://news.ycombinator.com/item?id=44524544">https://news.ycombinator.com/item?id=44524544</a>）。根据大家的反馈，我们从底层构建了Cactus，以解决这些问题，并推出了Cactus Kernels、Cactus Graph和Cactus Engine，所有这些都专为手机和小型设备设计。 CPU基准测试显示，Qwen3-600m-INT8在Pixel 6a / Galaxy S21 / iPhone 11 Pro上运行速度为16-20个token/秒，在Pixel 9 / Galaxy S25 / iPhone 16上为50-70个token/秒。首次token的响应时间根据提示大小低至50毫秒。在NPUs上，我们看到Qwen3-4B-INT4的运行速度为21个token/秒。 我们是开源的（<a href="https://github.com/cactus-compute/cactus">https://github.com/cactus-compute/cactus</a>）。Cactus对爱好者和个人项目免费使用，但商业用途需要付费许可证。 我们在App Store上有一个演示应用，链接为<a href="https://apps.apple.com/gb/app/cactus-chat/id6744444212">https://apps.apple.com/gb/app/cactus-chat/id6744444212</a>，在Google Play上也有，链接为<a href="https://play.google.com/store/apps/details?id=com.rshemetsubuser.myapp">https://play.google.com/store/apps/details?id=com.rshemetsubuser.myapp</a>。 此外，还有许多应用在生产中使用Cactus，包括AnythingLLM（<a href="https://anythingllm.com/mobile">https://anythingllm.com/mobile</a>）和KinAI（<a href="https://mykin.ai/">https://mykin.ai/</a>）。它们每周在生产中运行超过50万次推理任务。 虽然Cactus可以用于所有Apple设备，包括Macbook，但对于计算机/AMD/Intel/Nvidia等，建议使用HuggingFace、Llama.cpp、Ollama、vLLM、MLX。这些都是为这些平台构建的，支持x86，并且都非常出色！ 再次感谢，请分享您的想法，我们非常希望了解您的看法。

嗨，朋友们，我非常兴奋地向大家介绍 KSON，它刚刚进入公开测试阶段！ 在任何人阅读或编辑 YAML/JSON/TOML 的地方，KSON 都可以作为更有效的数据接口。如果你是这样的用户，我们邀请你参与这个测试。 **简而言之**：请查看网站 [1]，在在线游乐场 [2] 中玩耍，安装适合你编程语言的库 [3]，在你喜欢的编辑器中编辑 [4]，讨论并提供反馈 [5]，为项目做贡献 [6]。 （关于这个项目的个人感想：我热爱软件。由文字构成的机器！真是奇妙。KSON 本身作为一组既构建机器又解释机器的文字，表达了我对软件及其与我们关系的许多热情想法。我投入了很多心血，希望能让这种表达既优雅又可靠。我希望这些能够清晰地传达出来，并期待与任何感兴趣的人进一步讨论。） KSON 想要传达的一个关键点是：让我们保留 YAML 和 JSON 作为“配置用户界面”的所有优点，同时让这些接口变得更具工具性、稳健性和趣味性。以下是我们实现这一目标的一些方式： - KSON 是 JSON 的经过验证的超集，原生支持 JSON Schema，能够干净地转换为 YAML（保留注释！），并且很可能在你需要的地方都可以使用——当前支持的平台包括 JS/TS、Python、Rust、JVM 和 Kotlin 多平台。 - KSON 也广泛应用于开发工具，支持 VS Code、Jetbrains IDE 以及任何可以插入 LSP 的地方。 - KSON 完全开源，采用 Apache-2.0 许可证，欢迎你来了解它的构成并尝试如何构建它的机器。我们投入了大量的关心、工艺、关注和快乐，使 KSON 项目对开发者来说易于理解和接近。希望能在这里见到你。 PS：这是一个适合 HN 的版本，官方公告请见 <a href="https://kson.org/docs/blog/2025/09/17/introducing-kson/">https://kson.org/docs/blog/2025/09/17/introducing-kson/</a>。 [1]: <a href="https://kson.org/">https://kson.org/</a> [2]: <a href="https://kson.org/playground/">https://kson.org/playground/</a> [3]: <a href="https://kson.org/docs/install/#languages">https://kson.org/docs/install/#languages</a> [4]: <a href="https://kson.org/docs/install/#editor-support">https://kson.org/docs/install/#editor-support</a> [5]: <a href="https://kson-org.zulipchat.com/">https://kson-org.zulipchat.com/</a> [6]: <a href="https://github.com/kson-org/kson">https://github.com/kson-org/kson</a>

每次我路过这些新的科技广告牌时，总是想要仔细阅读，但又无法集中注意力；或者想拍张照片分享给朋友，但因为开车而无法做到。因此，我想把这些广告牌整理到一个地方，以便以后欣赏，并和朋友们分享旧金山是多么疯狂。