1作者: xiphias22 个月前原帖
大家好,我想在本地进行LLM推理,但大多数框架都非常复杂。虽然有很多简单的GPT-2实现,但GPT-2毕竟是一个较旧的模型。 我查看了transformers的代码库,并尽可能简化了Gemma3的Python实现,同时确保性能不受影响。我相信这能很好地帮助理解如何实现Gemma3模型推理(我计划在未来在同一个仓库中添加其他模型),并且可以根据需要进行改进。 我希望未来能够添加量化和GGUF mmap支持,可能还会加快分词器的加载速度,并添加其他表现良好的新模型,同时保持代码简洁、性能优越,并尽可能减少重依赖。
1作者: np_noa2 个月前原帖
你好,我很高兴向大家介绍Rovelist,这是一款旨在让养成积极习惯变得轻松愉快的习惯追踪应用。无论你是想保持一致性,还是仅仅想记录进展。 <p>为什么选择Rovelist?</p> <p>提醒功能:为每个习惯设置多个提醒,确保你不会忘记保持进度。</p> <p>11种主屏幕和锁屏小部件:快速查看进展、比较连续天数,并在不打开应用的情况下保持动力。</p> <p>时间旅行习惯日志:错过了一天?需要调整过去的记录?轻松编辑习惯历史,无任何限制。</p> <p>灵活的追踪选项:可以传统方式追踪习惯,记录连续天数,或者使用“仅记录”模式,轻松记录进展,无压力。</p> <p>有效的激励:通过有趣的彩带动画庆祝胜利,当你完成当天所有习惯时,会弹出“完美的一天”的提示。</p> <p>个性化习惯设置:为习惯自定义独特的颜色、表情符号和声音,提供量身定制的体验。你甚至可以为每个习惯设置不同的签到声音,让追踪变得更加个性化和有趣。</p> <p>习惯笔记:为每个习惯日志附上个人笔记,以反思进展,保持对自己旅程的关注。</p> <p>隐私与安全:通过安全锁保护你的习惯,确保只有你能访问。所有数据都存储在你的设备上,让你完全掌控自己的信息。</p> <p>习惯组织:将习惯分组到不同类别中,提供结构化且无杂乱的体验。</p> <p>高级习惯管理:随时归档、重启或撤销今天的习惯。</p> <p>自定义习惯频率:设置习惯每日、每周或每月重复,非常适合任何日常安排。</p> <p>我很想听听你的反馈和想法!试试看,告诉我你的感受。</p>