返回首页
最新
嗨，HN，我们是Jeffrey和Kritin，我们正在构建DeepTeam（[https://trydeepteam.com](https://trydeepteam.com)），这是一个开源的Python库，用于扫描大型语言模型（LLM）应用的安全漏洞。您可以通过为您的LLM应用定义一个Python回调函数（例如`def model_callback(input: str)`）来开始“渗透测试”，DeepTeam将尝试使用设计用于引发不安全或意外行为的提示进行探测。
请注意，渗透测试过程将您的LLM应用视为一个黑箱——这意味着DeepTeam无法知道在某个工具调用中是否发生了个人身份信息（PII）泄露，或者这些信息是否包含在您微调的LLM的训练数据中，而只是检测到它的存在。在内部，我们将这个过程称为“端到端”测试。
在创建DeepTeam之前，我们曾开发过DeepEval，这是一个开源框架，用于对LLM进行单元测试。你们中的一些人可能会想，这难道不与单元测试类似吗？
某种程度上是，但实际上并不完全相同。虽然LLM单元测试关注于1）准确的评估指标，2）全面的评估数据集，但渗透测试则专注于攻击的随机模拟及其协调。对于用户来说，这是一个重大的且令人困惑的范式转变，因为它从“这个通过了吗？”变成了“这个如何会崩溃？”。
因此，我们想，为什么不发布一个新包来协调针对这一新用户和专注于AI安全的团队进行对抗性攻击的模拟，并在此过程中借用DeepEval的评估和生态系统呢？
快速入门请访问：[https://www.trydeepteam.com/docs/getting-started#detect-your-first-llm-vulnerability](https://www.trydeepteam.com/docs/getting-started#detect-your-first-llm-vulnerability)
我们做的第一件事就是提供尽可能多的攻击方法——简单的编码方法如ROT13、leetspeak，提示注入、角色扮演和越狱等。随后我们听到一些用户不满意，因为攻击在测试之间没有持续性，因此他们每次测试时都会“丢失”进度，于是我们添加了一个`reuse_simulated_attacks`选项。
我们将所有内容抽象化，以使其尽可能模块化——每个漏洞、攻击都可以在Python中导入，例如`Bias(type=[“race”])`、`LinearJailbreaking()`等，并提供`.enhance()`等方法，供团队即插即用，构建自己的测试套件，甚至添加更多的攻击增强轮次，以提高突破系统的可能性。
值得注意的是，有一些限制。用户在尝试模拟攻击时可能会遇到合规性错误（尤其是在AzureOpenAI上），因此我们建议在这种情况下将`ignore_errors`设置为`True`。您还可能会遇到瓶颈，DeepTeam未覆盖您自定义的漏洞类型，因此我们推出了一个`CustomVulnerability`类作为“万用”解决方案（仍在测试阶段）。
您可能知道，已经存在一些类似的包，通常被称为“漏洞扫描”或“红队测试”。不同之处在于，DeepTeam是模块化的、轻量级的，并且对代码友好。以Nvidia Garak为例，尽管功能全面，但有很多CLI规则和环境设置，绝对不是最容易上手的，更不用说拆解库以构建自己的渗透测试管道。在DeepTeam中，定义一个类，如果需要，可以将其包装在您自己的实现中，然后就可以开始了。
我们采用了Apache 2.0许可证（目前是这样，未来可能也会如此），所以如果您想开始，`pip install deepteam`，使用任何LLM进行模拟，您将在1分钟内获得完整的渗透报告（假设您是异步运行的）。GitHub：[https://github.com/confident-ai/deepteam](https://github.com/confident-ai/deepteam)
很高兴与大家分享DeepTeam——欢迎告诉我们您的想法！
大家好！我是Ulysse，Tesseral（<a href="https://github.com/tesseral-labs/tesseral">https://github.com/tesseral-labs/tesseral</a>）是一个开源的B2B SaaS身份验证解决方案。
在我职业生涯的早期，我曾在Segment负责企业身份验证和安全功能。从那时起，我就对企业软件的细微细节产生了浓厚的兴趣。例如，在COVID疫情初期，我因为觉得有趣而编写了SAML的实现。
多年来，我感到沮丧的是，似乎很少有人对让商业软件开发者的身份验证变得简单明了感兴趣。身份验证其实不需要这么复杂。
我们开发Tesseral是为了帮助软件工程师准确实现B2B身份验证，并将精力集中在构建用户所需的功能上。
您可以使用Tesseral搭建登录页面，验证用户身份，并管理他们对资源的访问。可以将其视为Auth0或Clerk，但它是开源的，专门为B2B应用程序构建的。这意味着它设计用于B2B多租户，并包含企业级功能，如单点登录（SAML SSO）、多因素身份验证（MFA）、SCIM配置和基于角色的访问控制（RBAC）。
对于那些公开API的用户，您可以使用Tesseral为客户管理API密钥。您甚至可以通过使用我们的RBAC功能来限制API密钥的作用范围。
我们确保Tesseral强大且安全，足以支持真正的企业软件，同时也足够简单，任何软件开发者都能使用。您不必成为安全专家就能实现Tesseral。（因此，默认情况下，Tesseral会施加一些使用建议。如果您有充分的理由去做一些不同寻常的事情，请告诉我们，我们会一起解决。）
如果您想尝试Tesseral，可以选择自行托管或使用我们的托管服务。托管服务位于<a href="https://console.tesseral.com">https://console.tesseral.com</a>。您可以在这里找到文档：<a href="https://tesseral.com/docs">https://tesseral.com/docs</a>。
以下是一些简单的演示：
<a href="https://www.youtube.com/watch?v=IhYPzz3vB54" rel="nofollow">https://www.youtube.com/watch?v=IhYPzz3vB54</a>
<a href="https://www.youtube.com/watch?v=t-JJ8TNjqNU" rel="nofollow">https://www.youtube.com/watch?v=t-JJ8TNjqNU</a>
<a href="https://www.youtube.com/watch?v=mwthBIRZO8k" rel="nofollow">https://www.youtube.com/watch?v=mwthBIRZO8k</a>
我们目前处于项目的早期阶段，因此仍有一些不足之处。我们正在开发更多功能、修复bug、SDK和文档。
我们遗漏了什么？我们可以做得更好吗？我们期待听到社区的反馈！
只需添加一个 <script> 标签，就能将您网站上的任何 SQL 代码块转变为可运行的查询编辑器。<p>该编辑器由 DuckDB WASM 提供支持，完全在浏览器中运行，无需后端。非常适合文档网站、教程和博客文章。<p><pre><code> 功能：
• 完整的 SQL 分析引擎（DuckDB），在客户端运行
• 实时编辑的语法高亮
• 一键查询执行（或 Ctrl+Enter）
• 适用于任何静态网站 – 只需添加 CDN 脚本
• 仅 23KB 压缩，按需加载 DuckDB
• 支持深色/浅色主题
</code></pre>
试试吧： <a href="https://widget.pondpilot.io" rel="nofollow">https://widget.pondpilot.io</a>
GitHub: <a href="https://github.com/pondpilot/pondpilot-widget">https://github.com/pondpilot/pondpilot-widget</a>
在为应用程序构建插件系统时，避免依赖冲突至关重要。为了解决这个问题，我创建了Wetlands——一个轻量级的Conda环境管理器。
Wetlands不仅简化了具有特定依赖关系的隔离Conda环境的创建，还允许您在这些环境中运行任意Python代码并获取结果。它使用multiprocessing.connection和pickle模块进行进程间通信。此外，用户可以轻松地在环境之间使用共享内存，从而提高数据交换的效率。
文档：<a href="https://arthursw.github.io/wetlands/latest/" rel="nofollow">https://arthursw.github.io/wetlands/latest/</a>
源码：<a href="https://github.com/arthursw/wetlands/">https://github.com/arthursw/wetlands/</a>
我非常感谢任何反馈。谢谢！