返回首页
最新
人工智能令人印象深刻,但只有那些追逐最新潮流的中等智力者才相信它能够思考。科技寡头们在炒作它,因为这种炒作能带来巨额利润。
上周我发布了一篇关于我窗口管理解决方案的帖子。<p>https://news.ycombinator.com/item?id=44500066<p>一些评论中有人分享了他们的窗口管理解决方案。我想给大家一个再次分享的机会。<p>你们的窗口管理解决方案是什么?
RooAGI(<a href="https://rooagi.com" rel="nofollow">https://rooagi.com</a>)发布了Roo-VectorDB,这是一个为高维向量数据设计的高性能存储解决方案的PostgreSQL扩展。您可以在GitHub上查看:<a href="https://github.com/RooAGI/Roo-VectorDB">https://github.com/RooAGI/Roo-VectorDB</a>。
我们选择在PostgreSQL上构建,是因为它提供了现成的元数据搜索功能,并且关系数据库的可扩展性经过验证。尽管PGVector在这一领域开创了先河,但它常常被认为比Milvus等原生向量数据库速度更慢。Roo-VectorDB基于PGVector框架,结合了我们在搜索策略、内存管理和对高维向量支持方面的优化。
在使用ANN-Benchmark进行的初步实验室测试中,Roo-VectorDB在每秒查询数(QPS)方面的表现与Milvus相当,甚至显著优于Milvus。
RooAGI将继续开发以人工智能为中心的产品,Roo-VectorDB将作为我们技术栈中的核心存储组件。我们邀请全球的开发者试用当前版本并分享反馈。
我在问HN的问题:<p>你们的本地LLM堆栈实际是什么样的?<p>我在寻找一些能够提供真正价值的东西——而不仅仅是一个华丽的演示。<p>---<p>在最近一次互联网断网后,我意识到我需要一个本地LLM设置作为备份——不仅仅是为了实验和娱乐。<p>我的日常(远程)LLM堆栈:<p><pre><code> - Claude Max($100/月):我进行配对编程时的首选。重度使用Claude的网页和桌面客户端。
- Windsurf Pro($15/月):喜欢它的多行自动补全以及对剪贴板/上下文的感知。
- ChatGPT Plus($20/月):我的“橡皮鸭”、编辑和创意伙伴。我用它来处理除代码以外的所有事情。
</code></pre>
这是我目前为本地堆栈拼凑的内容:<p>工具<p><pre><code> - Ollama:用于本地运行模型
- Aider:Claude风格的命令行界面
- VSCode与continue.dev扩展:本地聊天和自动补全
</code></pre>
模型<p><pre><code> - 聊天:llama3.1:latest
- 自动补全:Qwen2.5 Coder 1.5B
- 编码/编辑:deepseek-coder-v2:16b
</code></pre>
我不担心的事情:<p><pre><code> - CPU/内存(在M1 MacBook上运行)
- 成本(在合理范围内)
- 数据隐私/训练数据(不想在这里展开哲学辩论)
</code></pre>
我担心的事情:<p><pre><code> - 实际的有用性(即“感觉”)
- 易用性(与我的肌肉记忆相符的工具)
- 正确性(不是基准测试)
- 延迟和速度
</code></pre>
现在:我已经让它运行起来了。我可以做一个华丽的演示。但它实际上还没有用。<p>---<p>我是谁<p><pre><code> - 一家小型初创公司的CTO(5位优秀工程师)
- 20年的编码经验(从13岁开始)
- 前大科技公司员工
</code></pre>
嘿,HN,
我正在构建一个名为 Memoria 的实验性 AI 代理记忆系统。它是一个轻量级的加密后端,通过“情感强度”对记忆进行排序。
核心功能:
- 大约 180 MB 的占用空间,无需外部服务或依赖
- 使用 SQLCipher 进行端到端加密
- 向量搜索(余弦相似度,仅支持 NumPy)
- 基于情感的强化和遗忘
- 带缓存层的异步 Python API
- 持续集成:pytest、ruff、mypy、通过 Codecov 进行覆盖率检测
无需 Pinecone,无需 Redis,无需云基础设施。
GitHub 仓库:[https://github.com/Ingver1/memoria](https://github.com/Ingver1/memoria)
我非常欢迎反馈、想法或批评。欢迎贡献者!
听到了很多轶事数据,但希望能得到一些统计数据。
构建了一个简单的棋类机器人,它结合了 o4-mini 和基于 Stockfish 引擎分析的推理。它清晰地解释棋步,建议战术,并帮助你理解为什么某些棋步是好的(或不好的)。<p>在这里试用:<a href="https://www.chesscoachgpt.com/" rel="nofollow">https://www.chesscoachgpt.com/</a><p>欢迎反馈。
嗨,HN,我是卡尔·莫里斯。在亚马逊、京东和Stitch Fix担任数据科学家十年后,我决定创建自己的产品。这段旅程最终促成了Callio的诞生,一款用于iOS的实时AI通话助手。我与另外两位合作伙伴一起建立我的初创公司。
经过大约9个月的反复试验,我们终于找到了正确的想法,随后又花了3个月时间构建Callio的第一个版本。我非常希望能听到你们的反馈!
# Callio的功能是什么?
Callio是一款VoIP软电话,配备AI助手,能够实时监听您的通话并建议接下来该说什么。我们相信它对销售电话特别有帮助,目前我们的市场定位也正是针对这一群体。
您可以通过以下方式自定义AI建议:
- 上传文档(例如产品说明书、定价、异议处理指南)
- 设置您的销售目标和常见问答
您还可以在真实通话之前,通过模拟通话进行练习。AI会利用您的材料生成相关建议,您可以逐字使用。
# 它是如何工作的?
将大型语言模型(LLM)实时连接到通话中是一个挑战。我们利用了许多现成的技术,但将它们整合在一起却相当困难,需要一些深思熟虑的努力。
- 通过Twilio的WebRTC,利用其React Native库实现VOIP通话体验。
- WebSockets使我们能够将音频流传输到后端,并将建议传送到移动客户端。
- LLM会获取实时转录,并在通话进行时返回建议。原则上,我们对LLM提供商持中立态度,尽管我们最初是围绕OpenAI的API构建的。
- 我们建立了增量推荐工作流,以确保AI建议的低延迟,尽管REST API存在延迟。
我们的架构设计上是精简的:
- React Native移动应用
- 媒体服务器 + 数据/信号服务器
- FastAPI(最初),但我们将部分功能迁移到Sanic以提高性能
我们当然可以做得更好。我们的后端数据库和一些数据API在扩展性上不够理想。现在我们已经在APP Store上线,我们正在仔细重建,以便能够扩展。实现实时功能(尤其是异步和延迟)是一个巨大的学习曲线。如果您感兴趣,我很乐意深入探讨。
# 接下来是什么?
应用程序已经上线,我们正在进行市场推广以吸引更多用户。我们目前的重点是:
- 超越最初的测试用户
- 提升推荐质量和应用内体验
- 为非技术用户构建更好的入门指导
我非常希望听到您的想法或问题,特别是在架构、用户体验或分发策略方面。该应用确实需要注册,我知道这使得您尝试起来有些困难。幸运的是,我们提供了免费试用,您可以使用。
感谢您提前提供的所有反馈!