3作者: mmahowald27大约 8 小时前原帖
大家好,我是 Matt Mahowald,今天我和我的联合创始人 John 一起推出 Ragnerock 的公开测试版。 作为一名数据科学家,你大部分时间都在处理数据。尽管你可能有一套喜欢使用的技术和技巧,但对于特定数据源的处理方式往往是非常定制化的,因此每次都需要编写自定义逻辑。 Ragnerock 的诞生源于这样一个观察:现代大型语言模型(LLM)可以自动化这一过程中的大量繁琐工作,同时仍然允许完全可定制的管道。此外,通过利用约束解码等技术,可以提供统一的查询接口,无论数据源是什么——将原始数据源(如文本和图像)与你现有的结构化数据(存储在数据库中)连接起来。 Ragnerock 主要有四个组件: - 一个工作流设计器,让你构建基于 LLM 的数据处理和分析管道 - 一个作业编排层,负责运行这些工作流 - 一个查询接口,让你可以使用简单的 SQL 检查这些工作流的结果 - 一个笔记本系统,与 Jupyter 100% API 兼容,并在你现有的内核上运行,因此你可以轻松地将数据引入到现有环境和分析中 Ragnerock 还支持自带 AI(OpenAI、Anthropic 和 Google API)、数据库和 Blob 存储,因此你可以与现有数据集进行连接,并将所有输出流向你的数据湖。我们特别兴奋于我们的网页爬虫功能,它允许你抓取网站并在更新时触发工作流:例如,你可以将 Ragnerock 指向你最喜欢的博客,并运行一个工作流来评估帖子的话题和情感。 你可以在 <a href="https:&#x2F;&#x2F;www.ragnerock.com" rel="nofollow">https:&#x2F;&#x2F;www.ragnerock.com</a> 尝试,注册不需要信用卡,前 20 小时的计算是免费的。这是一个早期产品,我们特别希望收到反馈。 如果有任何问题,请随时问我——今天 John 和我会在评论区回答。