返回首页
最新
我喜欢动手 tinkering，但购买硬件有时会很贵。你知道像 Craigslist、论坛（？）、Discord 上有出售专区的网站吗？我很感谢每一个回答。
大家好！我是Win，ParaQuery的创始人（<a href="https://paraquery.com">https://paraquery.com</a>），我们提供一个完全托管的、GPU加速的Spark + SQL解决方案。我们在易用性上与BigQuery相当（甚至更易用），同时在成本效益和性能上显著更优。
这里有一个简短的演示视频，展示了ParaQuery（与BigQuery的对比）在一个简单的ETL任务上的表现：<a href="https://www.youtube.com/watch?v=uu379YnccGU" rel="nofollow">https://www.youtube.com/watch?v=uu379YnccGU</a>
众所周知，GPU在许多SQL和数据框任务中表现出色，至少在研究人员和像NVIDIA这样的GPU公司中是这样。以至于在2018年，NVIDIA推出了RAPIDS计划和Spark-RAPIDS插件（<a href="https://github.com/NVIDIA/spark-rapids">https://github.com/NVIDIA/spark-rapids</a>）。我之所以发现这一点，是因为当时我正在尝试制作一个基于CUDA的λ演算解释器……这是我未能实现的几个想法之一，哈哈。
在一些工程师中似乎存在一种看法，认为GPU仅适用于人工智能、图形处理，也许还包括图像处理（也许！有人甚至告诉我，他们认为GPU不适合图像处理！）。但实际上，GPU在传统数据处理上同样表现良好！
从高层次来看，大数据处理是一种高吞吐量、大规模并行的工作负载。GPU是一种专门为此设计的硬件，具有高度可编程性，并且（现在）在云端高度可用！更棒的是，GPU的<i>内存</i>是针对带宽而非原始延迟进行优化的，这使得它们在吞吐能力上优于CPU。通过简单地使用云成本计算器几分钟，就可以清楚地看到，即使在主要云平台上，GPU也是具有成本效益的。
老实说，我原以为使用GPU进行SQL处理现在应该已经普及，但事实并非如此。因此，在一年多前，我开始着手实际部署一个基于云的GPU数据平台（即Spark-RAPIDS），这受到了一位朋友的朋友（的朋友）的启发，他在创业公司中对BigQuery的成本表示担忧。在完成概念验证和意向书后……嗯，什么也没发生！即使在半年后也是如此。但随后，发生了一些神奇的事情：他们的云信用额度用完了！
现在，他们通过使用ParaQuery节省了超过60%的BigQuery账单，同时速度也提高了2倍——完全不需要数据迁移（得益于Spark的GCS连接器）。顺便说一下，我不确定其他人的经历，但……我们离IO瓶颈相当远（这让我与许多我交谈过的工程师感到惊讶）。
我认为高吞吐量计算的未来在于在高吞吐量硬件上进行计算。如果你也这么认为，或者你面临数据扩展的挑战，可以在这里注册：<a href="https://paraquery.com/waitlist">https://paraquery.com/waitlist</a>。抱歉需要排队，但我们还没有准备好提供自助服务体验——这将需要大量的工程和硬件成本。但我们会做到的，请继续关注！
感谢阅读！你们在处理巨大的ETL/处理负载时有什么经验？成本或性能是否是个问题？你对GPU加速（GPGPU）有什么看法？你认为GPU只是贵吗？我很想在这里聊聊技术！
大家好。在这个周末，我开发了一个利用人工智能寻找联系人的工具。以下是背景故事。我和我的合作伙伴正在创建一个农业科技初创公司——我们正在为农业机械构建远程信息处理系统。我们的销售大部分来自冷联系：你搜索联系人，给他们发消息，打电话，达成交易等等。
我们还在进行独立创业，因为农业科技发展缓慢，有时也比较无聊。某个时候，我们厌倦了手动从互联网上收集联系人，因此我们开发了一个AI工具来解决这个问题。结果这个工具非常有用，我们决定与大家分享。
如果这里有使用类似工具的人，我们非常希望能听到你们的反馈——这个工具对你们来说效果如何？如果你感兴趣，我可以提供一些免费的使用积分作为反馈的交换。
嗨，HN！<p>我搭建了这个<i>小型</i>MCP服务器，以防止我的AI代理生成不存在的Helm值。<p>这个MCP服务器允许你的副驾驶助手：<p>1. 检索Artifact Hub上Helm图表的一般信息<br>
2. 从Artifact Hub上的Helm图表中检索values.yaml<p>如果你需要更多工具，欢迎提交PR，告诉我你想要看到的工具 :)<p>链接：<a href="https://github.com/AlexW00/artifacthub-mcp">https://github.com/AlexW00/artifacthub-mcp</a>
我正在通过MCP将各种内部工具/数据存储（例如Postgres、值班工具等）连接到Cursor。<p>我面临的一个反复出现的问题是如何通过Cursor管理和执行员工级别的访问控制列表（ACL），以便与外部管理/执行的方式一致。<p>比如说，一名员工对包含支持票据的Postgres表有有限的读取权限，我希望他们在通过Cursor访问该表时也能保持相同的访问级别。<p>看起来在公司范围内运行远程MCP服务器实例是一个开始。有没有人正在解决AI驱动的IDE领域中的用户管理和权限问题？
大家好，我们是Lennert和Rauf。我们正在开发Airweave（<a href="https://github.com/airweave-ai/airweave">https://github.com/airweave-ai/airweave</a>），这是一款开源工具，可以让代理从任何应用程序或数据库中搜索和检索数据。以下是一个简要介绍：<a href="https://www.youtube.com/watch?v=EFI-7SYGQ48" rel="nofollow">https://www.youtube.com/watch?v=EFI-7SYGQ48</a>，这里还有一个更长的视频，展示了更多实际应用案例，以及Airweave在Cursor（0:33）和Claude桌面（2:04）中的使用示例等：<a href="https://youtu.be/p2dl-39HwQo" rel="nofollow">https://youtu.be/p2dl-39HwQo</a>。
几个月前，我们正在构建与不同应用程序交互的代理，但当它们在处理模糊的自然语言请求时，比如“解决那个关于缺失身份验证配置的Linear问题”、“如果收到不满意客户的邮件，请在Stripe中退款”或“根据Gdrive中的财务报表，第一季度的回报是多少？”时，感到非常沮丧。代理往往低效地串联大量函数调用来查找数据，甚至找不到数据而产生幻觉。
我们还注意到，尽管MCP的兴起使得代理与外部资源交互的需求增加，但大多数代理开发工具仍然专注于函数调用和动作，而非搜索。我们对缺乏能够让代理语义搜索工作区或数据库内容的工具感到不满，因此我们首先将Airweave作为内部解决方案进行开发。随后，在同事和其他代理开发者的积极反馈后，我们决定将其开源，并全职投入开发。
Airweave通过API连接到生产力工具、数据库或文档存储，并将其内容转化为可搜索的知识库，代理可以通过标准化接口访问。搜索接口通过REST或MCP暴露。当使用MCP时，Airweave本质上是在资源之上构建一个语义可搜索的MCP服务器。该平台处理从连接和提取到分块、嵌入和服务的整个数据管道。为了确保知识的时效性，它具备自动同步功能，支持可配置的调度和通过内容哈希的变更检测。
我们构建了支持白标多租户的功能，以便在多个用户账户之间提供基于OAuth2的集成，同时保持隐私和安全边界。我们还在积极开发平台的权限感知功能（即数据的RBAC）。
很高兴能分享我们的经验，并期待听到你们的见解。期待评论！