嗨,Hacker News,
我们是docker/model-runner的维护者,想与大家分享一些我们非常兴奋的重大更新。
链接: [https://github.com/docker/model-runner](https://github.com/docker/model-runner)
我们正在重启社区:
[重启 model-runner 社区](https://www.docker.com/blog/rebooting-model-runner-community...)
model-runner的核心是一个简单的、与后端无关的工具,用于下载和运行本地大型语言模型。可以将其视为与不同模型后端交互的一致接口。我们的主要后端之一是llama.cpp,我们会将我们所做的任何改进反馈给他们的项目。它还允许人们通过OCI注册表(如Docker Hub)传输模型。Docker Hub托管了我们精心挑选的本地AI模型集合,以OCI工件的形式打包并准备运行。您可以轻松地在Docker Hub上下载、分享和上传模型,使其成为容器化应用程序和下一波生成式AI的中心枢纽。
最近我们在几个方面努力工作:
- Vulkan和AMD支持:我们刚刚合并了对Vulkan的支持,这使得本地推理能够支持更广泛的GPU,尤其是来自AMD的GPU。
- 贡献者体验:我们将项目重构为一个单一代码库。主要目标是使架构更清晰,并显著降低新贡献者参与和理解代码库的门槛。
- 完全开源:我们知道Docker的项目可能会引发关于其开放性的问题。明确来说,这是一个100%开源的项目,采用Apache 2.0许可证。我们希望围绕它建立一个社区,欢迎所有贡献,从文档修复到新的模型后端。
- DGX Spark的零日支持,我们已经实现了!
我们的目标是发展社区。我们会全天在这里回答您的任何问题。我们希望您能查看一下,如果您喜欢,请给我们一个星标,并告诉我们您的想法。
谢谢!
返回首页
最新
我想和你分享我为 Plotnine 制作的备忘单,这是一个用于 Python 的数据可视化包。<p>我可能从未在仅仅两页上花费如此多的时间,即使是以 ggplot2 的备忘单为起点。希望你觉得它有用。
重要提示 - 请先阅读:
<p>这仍然是一个正在进行中的项目,并且是一个闭源项目(这就是蜜罐的样子)。要查看开源的 MVP 版本,请点击 [这里](<a href="https://github.com/positive-intentions/chat" rel="nofollow">https://github.com/positive-intentions/chat</a>)。我的所有项目都未经过审计或评审。我提供这些项目仅供测试和演示用途,并不是为了替代您当前使用的消息应用程序(或其他任何应用程序)。<p>使用未经审计的软件时请负责任……请勿用于敏感用途。<p>---<p>既然我已经提醒了你……<p>想要发送加密的 WebRTC 消息和视频通话,而无需下载、注册或跟踪吗?<p>这个原型使用 WebRTC 建立加密的浏览器对浏览器连接。一切都是短暂的,并在您刷新页面时被清除——真正的零数据隐私!<p>查看预发布演示。<p>- 演示: <a href="https://p2p.positive-intentions.com/iframe.html?globals=&id=demo-p2p-messaging--p-2-p-messaging&viewMode=story" rel="nofollow">https://p2p.positive-intentions.com/iframe.html?globals=&id=...</a>
- 网站: <a href="https://positive-intentions.com" rel="nofollow">https://positive-intentions.com</a>
- Mastodon: <a href="https://infosec.exchange/@xoron" rel="nofollow">https://infosec.exchange/@xoron</a>
我是Kubuntu用户,正在开发一款应用程序来整理我的个人知识库。我很快会添加MCP支持,但我还没有选择桌面代理。欢迎提供建议。