返回首页
最新
我在OptiLLM中构建了一个开源插件,实施了谷歌的“深度思考”推理方法,适用于DeepSeek R1和Qwen3等本地模型。
谷歌最近的Gemini 2.5报告介绍了深度思考——一种模型并行生成多个假设并进行批判性分析后得出最终答案的技术。该方法在数学奥林匹克和竞争性编码基准测试中取得了最先进的结果。
该插件通过修改推理流程,同时探索多个解决方案路径,然后综合出最佳方案。与单次生成不同,模型在回应之前实际上进行了一场内部辩论。
技术细节:
- 适用于任何支持结构化推理模式的模型
- 在响应生成过程中实现并行思考
- 对于复杂推理任务、数学和编码问题特别有效
- 增加推理时间,但显著提高答案质量
链接: [https://github.com/codelion/optillm/tree/main/optillm/plugins/deepthink](https://github.com/codelion/optillm/tree/main/optillm/plugins/deepthink)
演示: [https://www.youtube.com/watch?v=b06kD1oWBA4](https://www.youtube.com/watch?v=b06kD1oWBA4)
该实现赢得了Cerebras与OpenRouter的Qwen 3黑客马拉松,但更重要的是,它现在对任何运行本地模型的人都可用。
关于HN的问题:
- 有没有人尝试过类似的并行推理方法与本地模型?
- 你认为还有哪些专有技术对开源有价值?
- 有什么建议可以优化性能权衡?
我们的目标是使以前被API锁定的高级推理能力民主化。希望能收到对该方法的反馈和改进建议。
嗨,HN,
我刚刚发布了PrivacySDK——一款隐私和安全漏洞扫描器,能够直接集成到GitLab、GitHub及各种开发CI/CD工作流中。它利用AI(通过Vertex AI的Google Gemini)和硬编码规则引擎扫描您的代码库,以检测GDPR、CCPA、HIPAA和安全违规行为。
可以理解为:这是针对隐私合规的代码检查工具。
主要特点:
- 支持GitLab CI/CD、GitHub Actions及各种开发工作流
- 扫描12种以上的编程语言(如JS、Python、Go、Java等)
- 结合AI和基于规则的检测(为生产环境的可靠性提供后备支持)
- 捕捉隐私风险并标注严重程度
- 提供具体的隐私建议
- 在开发过程中教育开发者隐私最佳实践
- 实时合并请求评论、自动创建问题和CI管道强制执行
- 自动帮助实施隐私设计
- 现场网站界面:上传您的代码并获得即时隐私审查
- 完全文档化、经过测试,适合DevSecOps团队使用
- 个人/非商业用途的开源项目
- 仓库地址:https://gitlab.com/tnabanitade/privacysdk
商业许可证信息:请在此申请:https://privacylicense.ai/contact,或通过https://www.linkedin.com/in/nabanitaai/与我们联系。
它是开源的,适用于非商业用途(MIT + Commons Clause)。
期待您的反馈、想法和贡献——或者对这个项目未来发展的看法。
谢谢!
– Nabanita De
创始人兼首席执行官
https://privacylicense.ai/
我在切换“掌控”状态时总是面临这种明显的挣扎,最好的例子就是司机与乘客对道路的感知差异。<p>使用人工智能进行编码让我想起了这种感觉,时而“驾驶”,时而“乘客”的切换感觉比全心投入其中的任何一方都要疲惫。我有一个理论,强制减少参与感在任何形式上都会产生各种副作用。<p>想知道是否还有其他人也有这种感觉,如果有的话,你们有没有成功尝试过什么方法来应对?