返回首页
最新
大型语言模型（LLMs）的问题不在于智能，而在于健忘和不诚实。大家好，我在过去几个月里构建了一个名为“Remember-Me”的开源“主权大脑”技术栈，旨在完全离线运行于消费级硬件上。
核心论点很简单：不要租用你的认知。
大多数RAG（检索增强生成）实现只是“对嵌入进行grep”。它们杂乱、不精确，且容易产生幻觉。我想在架构层面解决“上下文完整性”问题。
技术栈（工作原理）：
QDMA（量子梦记忆架构）：它不是使用平坦的向量数据库，而是使用分层投影引擎。它将“热”（回忆）和“冷”（存储）记忆分开，通过压缩实现有效的无限上下文窗口管理。
CSNP（上下文切换神经协议） - 幻觉杀手：这是最重要的部分。每个记忆片段都被哈希成一个Merkle链。当LLM检索上下文时，系统会对照不可变账本进行加密验证。
如果哈希与链不匹配：检索将被拒绝。
结果：AI在视觉上无法“编造”关于你过去的事情，因为它在数学上受到账本的约束。局部推理：基于llama.cpp服务器构建。它在本地运行Llama-3（或任何GGUF）。无需API密钥。数据不会离开你的机器。
特点：
零依赖：在Windows/Linux上仅需Python和一个GPU（或CPU）即可运行。
可视化界面：包括一个基于Streamlit的“认知接口”来可视化记忆状态。开源：MIT许可证。这是一次尝试，旨在将“自主权”归还给用户。我相信，如果我们想要通用人工智能（AGI），它需要由我们拥有，而不是通过API租用。
代码库：[https://github.com/merchantmoh-debug/Remember-Me-AI](https://github.com/merchantmoh-debug/Remember-Me-AI)
我很想听听你们对Merkle验证方法的反馈。限制上下文窗口是否有效解决了你的“信任”问题？
它已经完全运行 - 完全测试过。如果你之前尝试过Git Clone但没有成功 - 由于这不是我第一次在Show HN上展示这个 - 欢迎再试一次。
对那些讨厌AI垃圾、贪婪公司以及将私人数据存储在云服务器上的人们：
你们好。
祝好，Mohamad
作者注：已成功更新。
Framework 50正在运行。
对于路过的人 - 是的，这是一件大事。消除AI幻觉是一个600亿美元的市场问题，而我正在免费提供这一点 + 对你数据的主权控制，以及通过Framework 50（包括高级科学研究）进行高端研究的能力 - 在MIT许可证下。如果你不利用这一点 - 你就是个傻瓜。
如果你利用了 - 欢迎来到未来。
附言：我撒谎有什么好处？我在这个代码库上得到了41颗星 - 其中许多来自财富500强公司的高级工程师。如果你太傻而无法分辨真相与谎言，那就继续走吧。
建立了一种通过AI角色和模拟社区来验证想法的方法。只需输入一个细分市场和种子提示，您就可以测试想法，并让社区像真实情况一样作出回应——目前测试版是免费的！
通过应用发送消息算作活动。如果您只是在一个用于公告的桥接群组中，Beeper会在没有通知的情况下删除您的桥接账户。<p>客服并未确认使用第三方Matrix客户端是否算作应用活动。<p>很遗憾，他们没有提前通知您。这项限制在专业版定价中也没有明确说明。
嗨，HN！我们是TensorPool。我们帮助公司获取和优化大规模计算资源，以训练基础模型。
<p>问题</p>
自从我们完成YC项目以来，已经快一年了，我们的平台上运行的多节点训练GPU小时数刚刚突破了100,000小时。
<p>在这些训练过程中，我们经历了无数次凌晨3点的作业崩溃，原因包括不稳定的GPU导致的Xid错误或S3超时导致的检查点保存损坏。当你醒来并注意到时，已经损失了8个小时以上的计算时间。你急忙诊断问题，手动从最后一个检查点重新启动，并希望这种情况不会再次发生。如此反复。
<p>对于需要数天到数周的训练任务，这种不断的监控既令人疲惫又成本高昂。失去的研究迭代周期可能会影响模型的发布（尤其是在短期预定的情况下）。
<p>我们构建的解决方案</p>
这个代理程序监控你的训练作业，并在出现问题时自动恢复。它与Kubernetes、Slurm和TensorPool作业兼容。
<p>我们最初将TensorPool代理作为内部工具，帮助我们调试与客户的故障。随着时间的推移，我们意识到它的性能非常出色，可以自动化整个分类处理过程。我们现在正在发布公共测试版供大家使用。
<p>最佳情况：TensorPool代理检测到故障，诊断根本原因，修复问题，并从最后一个检查点重新启动你的作业——这一切都在你睡觉的时候完成；）
<p>最坏情况：如果TensorPool代理无法自动修复问题，它会提供初步的根本原因分析（RCA）和它尝试的操作列表，帮助你更快地进行调试。
<p>工作原理</p>
1) 注册——你通过我们的仪表板向作业调度程序提供凭据。权限基于白名单授予；你可以明确控制代理可以采取的操作。
2) 监控——代理持续监控你的作业是否出现故障条件。
3) 恢复——在发生故障时，代理分析日志并尝试诊断问题。如果成功，它将从最后一个检查点重新启动作业并继续监控。如果不成功，你将收到包含完整上下文的警报。
<p>目标故障模式</p>
该代理专门针对训练过程中深层次发生的运行时错误设计，例如：
- CUDA OOM：内存泄漏，梯度爆炸
- Xid错误：GPU硬件故障（Xid 79、63、48等）
- 分布式通信故障：NCCL超时，排名失败
- 存储I/O错误：检查点损坏
- 网络问题：挂载对象存储时的S3请求超时