返回首页
最新
我写了一个小型的 Python 库 `mlxx`，它对 MLX 进行了猴子补丁，这样我们就可以方便地使用更多的数组方法，比如 `array.allclose(another)` 或 `vec1.inner(vec2)`，而无需冗长的样板代码。<p>请查看 github.com/ifsheldon/mlxx<p>谢谢！
你好，HN！我们是来自Tinfoil的Tanya、Sacha、Jules和Nate：<a href="https://tinfoil.sh">https://tinfoil.sh</a>。我们在云端托管模型和AI工作负载，同时保证零数据访问和保留。这使我们能够在云GPU上运行开源的LLM（大型语言模型），如Llama或Deepseek R1，而无需您信任我们或任何云服务提供商处理您的私密数据。
<p>由于AI在提供更多上下文时表现更好，我们认为解决AI隐私问题将解锁更有价值的AI应用，就像互联网的TLS使电子商务蓬勃发展一样，让人们知道他们的信用卡信息不会被窃取。
<p>我们来自密码学、安全和基础设施的背景。Jules在麻省理工学院获得了可信硬件和保密计算的博士学位，并与NVIDIA和微软研究院在这方面合作；Sacha在麻省理工学院获得了隐私保护密码学的博士学位；Nate从事过像Tor这样的隐私技术，而我（Tanya）曾在Cloudflare的密码学团队工作。我们对像PII（个人身份信息）编辑这样的临时解决方案感到不满（在某些情况下，如AI个人助手，这实际上是不可取的），以及通过法律合同（如数据处理协议）实现的“粉指承诺”安全。我们希望找到一个真正的解决方案，用可证明的安全性取代信任。
<p>在本地或内部运行模型是一个选择，但可能成本高且不方便。完全同态加密（FHE）在可预见的未来对于LLM推理并不实用。下一个最佳选择是使用安全区：一种在芯片上的安全环境，其他在主机上运行的软件无法访问。这使我们能够在云中进行LLM推理，同时能够证明没有人，包括Tinfoil或云服务提供商，可以访问数据。由于这些安全机制是在硬件中实现的，因此性能开销最小。
<p>尽管我们（Tinfoil）控制着主机，但我们无法看到在安全区内处理的数据。从高层次来看，安全区是一组被保留、隔离和锁定的核心，创建一个分隔的区域。所有从安全区出来的数据都是加密的：包括内存和网络流量，以及到其他设备（如GPU）的外设（PCIe）流量。这些加密是使用在设置过程中在安全区内生成的秘密密钥进行的，这些密钥永远不会离开其边界。此外，芯片中内置的“硬件信任根”允许客户检查安全声明并验证所有安全机制是否到位。
<p>直到最近，安全区仅在CPU上可用。但NVIDIA的保密计算最近将这些基于硬件的能力添加到他们最新的GPU中，使得在安全区中运行基于GPU的工作负载成为可能。
<p>以下是其工作原理的简要概述：
<p>1. 我们将应在安全区内运行的代码发布到Github，并将编译后的二进制文件的哈希值发布到一个名为Sigstore的透明日志中。
<p>2. 在将数据发送到安全区之前，客户端从安全区获取一份签名文档，其中包括由CPU制造商签名的运行代码的哈希值。然后，它通过硬件制造商验证签名，以证明硬件是真实的。接着，客户端从透明日志（Sigstore）获取源代码的哈希值，并检查该哈希值是否与我们从安全区获得的哈希值相等。这使客户端能够获得可验证的证据，证明安全区正在运行我们声称的确切代码。
<p>3. 在确认安全区环境符合预期后，客户端将数据发送到安全区，数据在传输过程中是加密的（TLS），并且仅在安全区内解密。
<p>4. 所有处理都在这个受保护的环境内进行。即使是控制主机的攻击者也无法访问这些数据。
我们相信，使端到端可验证性成为“第一公民”是关键。安全区传统上用于消除对云服务提供商的信任，而不一定是对应用提供商的信任。这一点可以通过Azure Confidential VM等保密虚拟机技术得到证明，该技术允许主机通过SSH访问保密虚拟机。我们的目标是可证明地消除对我们自身（即应用提供商）以及云服务提供商的信任。
<p>我们鼓励您对我们的隐私声明持怀疑态度。可验证性是我们的答案。并不仅仅是我们说它是私密的；硬件和密码学让您可以进行检查。以下是一个指导您完成验证过程的指南：<a href="https://docs.tinfoil.sh/verification/attestation-architecture">https://docs.tinfoil.sh/verification/attestation-architectur...</a>。
<p>人们正在使用我们的服务来分析敏感文档、为专有代码构建助手，以及在代理AI应用中处理用户数据，而不必担心之前阻碍云AI采用的隐私风险。
<p>我们很高兴能与HN分享Tinfoil！
<p>* 尝试聊天（<a href="https://tinfoil.sh/chat">https://tinfoil.sh/chat</a>）：它通过浏览器检查验证证明。免费，有限消息，$20/月可享受无限消息和额外模型。
<p>* 使用API（<a href="https://tinfoil.sh/inference">https://tinfoil.sh/inference</a>）：与OpenAI API兼容的接口。$2/100万令牌。
<p>* 将您现有的Docker镜像部署到Tinfoil上，使其实现端到端保密。以下是一个演示，展示如何使用Tinfoil运行可以安全处理个人私密视频的深度伪造检测服务：<a href="https://www.youtube.com/watch?v=_8hLmqoutyk" rel="nofollow">https://www.youtube.com/watch?v=_8hLmqoutyk</a>。注意：此功能目前不支持自助服务。
<p>* 如果您想运行其他模型或部署自定义应用，或只是想了解更多信息，请通过contact@tinfoil.sh与我们联系！
<p>请告诉我们您的想法，我们很想听听您在这个领域的经验和想法！
大家好，
我开发了一个名为 Cogitator 的开源 Python 工具包/库，旨在简化不同思维链（CoT）推理方法的尝试和使用。该项目目前处于测试阶段，但支持使用 OpenAI 和 Ollama 提供的模型。它包含了自一致性、思维树和思维图等 Cot 策略和框架的实现。
项目的 GitHub 链接： [https://github.com/habedi/cogitator](https://github.com/habedi/cogitator)
我创建了Morph，这是一个实验性的全栈HTML优先库，适用于Deno、Node和Bun。<p>所有内容都返回HTML，而不是JSON。没有React，没有Vite——只有纯粹的HTML和服务器端渲染。<p>没有构建步骤，没有预处理器，没有复杂的配置——一切都可以从一个文件中运行。<p>非常适合Telegram Web应用、内部工具、简单的管理面板、仪表盘，或者在需要的地方，完整的单页应用显得过于复杂。<p>重要的是：我完全是为了自己而构建这个——解决我自己的问题。我讨厌复杂的前端。我讨厌编写它。我不想在这上面浪费时间。<p>但也许这对你也有帮助。