返回首页
最新
— 作者：Raj Guru Yadav
像许多开发者一样，我对大型语言模型（LLMs）充满了好奇。但当我问到：“我能在离线状态下快速运行一个类似ChatGPT的助手，而不需要16GB以上的内存吗？”这个挑战让我无法抗拒。
<p>目标
构建一个完全离线、轻量级的AI助手，具备以下特点：
<p>下载大小小于50MB
<p>无需互联网
<p>快速响应（在1秒以内）
<p>零遥测
<p>完全本地的嵌入和推理
<p>结果：一个40MB的离线ChatGPT克隆，可以在浏览器中或USB闪存驱动器上运行。
<p>40MB内部包含什么？
这是我如何将智能对话压缩到如此小的包裹中的：
<p>模型：通过llama.cpp量化的Mistral 7B Q4_K_M
<p>推理引擎：llama.cpp（编译为WebAssembly或本地C++）
<p>用户界面：轻量级的React/Tailwind界面
<p>存储：用于本地聊天历史的IndexedDB
<p>嵌入：本地MiniLM用于智能PDF或笔记搜索
<p>附加功能：Whisper.cpp用于本地语音输入；Coqui TTS用于语音输出
<p>我为什么要构建它
我（Raj Guru Yadav），一名16岁的开发者和学生，想要：
<p>深入了解大型语言模型的实际工作原理
<p>构建一个尊重隐私且本地化的工具
<p>证明AI不需要云端也能强大
<p>为离线用户（如许多印度学生）提供真正的AI支持
<p>挑战
在低内存设备上的内存瓶颈
<p>对小型模型进行提示调优以获得更智能的回复
<p>WebAssembly优化以提高浏览器性能
<p>与小型TTS/ASR模型的离线语音和文本集成
<p>性能（在4GB的笔记本电脑上）
能够合理回答事实、编码和数学问题
<p>离线读取和总结PDF文件
<p>本地记忆对话内容
<p>（可选）大声朗读答案
<p>最后的想法
AI不应该被锁在付费墙或云端后面。
我的目标是将智能助手带到每个人的手中——
完全离线，完全免费，完全属于你。
<p>由 Raj Guru Yadav 制作
<p>开发者 | 700多个项目的构建者 | 热衷于开放AI为所有人服务
我建立了我的第一个网络应用程序。<p>作为一个摄影爱好者，将我的照片添加到框架模型或空白框架中以供我的电商网站使用的过程非常缓慢。<p>直到现在..<p>只需上传一张图片，即可立即在各种场景和框架中预览您的图像。无需使用 Photoshop！<p>欢迎反馈<p>快来看看吧 > <a href="https://framecanvas.app/" rel="nofollow">https://framecanvas.app/</a>
嗨，HN，
iPantry 是我开发的一款简单应用，旨在解决我家中反复出现的问题：忘记我们在食品储藏室或冰箱里已经有什么，买到重复的食物，以及让食物过期。
在忙碌的日程和共享的家庭环境中，尤其是在家庭成员分担购物时，容易失去对现有食材的掌握。我们常常会在橱柜的角落里发现多余的牛奶盒或过期的意大利面。
我找不到一款既易于使用又能与原生 iOS 工具共享的应用。大多数应用要么过于复杂，要么将功能锁定在账户系统或外部同步之下。
于是我制作了 iPantry：
- 跟踪产品的数量和过期日期
- 获取低库存和过期提醒
- 通过 iCloud 和 Apple Reminders 导出清单或共享物品
- 所有数据保留在您的 iCloud 账户中，跨设备同步
- 无需注册或第三方服务
这是一款旨在提供清晰和快速体验的小工具。我很想听听您的想法、建议或批评。
感谢您抽出时间查看。