1作者: silverrump大约 1 个月前原帖
嗨,HN, 我在自己的项目中遇到重复账户和不可靠的Cookies问题后,开发了DevicePrint。 DevicePrint是一个轻量级的设备指纹识别工具,专为开发者设计。它帮助在不同会话中识别设备,而不依赖于Cookies。 使用场景包括欺诈检测、阻止重复注册和安全敏感的工作流程。 我非常希望能收到反馈,特别是关于隐私问题或你们遇到的边缘案例。 链接: [https://deviceprint.io](https://deviceprint.io)
6作者: adilhafeez大约 1 个月前原帖
嘿,HN——我是来自Katanemo的Adil(与Salman、Shuguang和Meiyu一起)<p>我们之前以ArchGW的名义分享了这个项目的早期版本。根据客户反馈,项目的范围从“LLM路由和模型访问”扩展到了更广泛的内容:为智能应用提供交付基础设施。我们将其更名为Plano,并相应地重新设计了架构。<p>问题<p>在实际工作中,AI从业者会告诉你,调用LLM并不是最困难的部分。真正困难的是快速且可靠地将智能应用交付到生产环境中,然后在不每次都重写系统代码的情况下进行迭代。实际上,团队不断重建那些超出单个智能体核心逻辑的相同关注点:<p>这包括模型灵活性——能够从大量LLM中提取并在不重构提示或流处理程序的情况下更换提供者。他们需要通过收集信号和痕迹来从生产环境中学习,以了解需要修复的内容。他们需要一致的政策执行来进行内容审核和越狱保护,而不是在代码库中到处撒钩子。他们还需要多智能体模式,如交接和专业化,而不将他们的应用程序变成协调胶水。<p>这些关注点在快速变化的框架和应用代码中被重建和维护,将产品逻辑与基础设施决策耦合在一起。这是脆弱的,并使团队从核心产品工作中分散到他们不应该负责的管道工作中。<p>Plano的功能<p>Plano将核心交付关注点从流程中移出,转变为为智能体设计的模块化代理和数据平面。它支持入站监听器(智能体协调、安全和审核钩子)、出站监听器(托管或基于API的LLM路由),或两者结合。<p>Plano通过统一的、协议原生的、框架友好的数据平面提供以下功能:<p>- 协调:在智能体之间进行低延迟的路由和交接。添加或更改智能体而无需修改应用代码,并在中心演变策略,而不是在服务之间复制逻辑。<p>- 保护措施和记忆钩子:通过过滤链一次性应用越狱保护、内容政策和上下文工作流(重写、检索、编辑)。这集中管理并确保您整个堆栈的一致行为。<p>- 模型灵活性:按模型名称、语义别名或基于偏好的政策进行路由。更换或添加模型而无需重构提示、工具调用或流处理程序。<p>- 智能信号™:零代码捕获每个智能体的行为信号、痕迹和指标,将痕迹、令牌使用和学习信号集中在一个地方。<p>目标是保持应用代码专注于产品逻辑,而Plano负责交付机制。<p>关于架构的更多信息<p>Plano主要有两个部分:<p>基于Envoy的数据平面。使用Envoy的HTTP连接管理与模型API、服务和工具后端进行通信。我们没有构建单独的模型服务器——Envoy已经处理了流、重试、超时和连接池。一些我们在Katanemo的核心Envoy贡献者。<p>Brightstaff,一个用Rust编写的轻量级控制器。它检查提示和对话状态,决定调用哪些上游服务及其顺序,并协调路由和回退。它使用小型LLM(1-4B参数),经过训练以适应受限的路由和协调。这些模型不生成响应,并在失败时回退到静态政策。模型的开源地址在这里:<a href="https://huggingface.co/katanemo" rel="nofollow">https://huggingface.co/katanemo</a><p>Plano与您的应用服务器(云端、本地或本地开发)并行运行,不需要GPU,并将GPU留在您的模型托管位置。<p>代码库 <a href="https://github.com/katanemo/plano" rel="nofollow">https://github.com/katanemo/plano</a> + 文档 <a href="https://docs.planoai.dev/" rel="nofollow">https://docs.planoai.dev/</a>