8作者: secretasiandan5 个月前原帖
大家好,我是 Dan、Hussain 和 Daniel……经过多年与在笔记本中有效但在生产环境中失败的数据管道斗争后,我们决定采取行动。我们创建了 xorq,以消除 SQL/pandas 不匹配、运行时调试、浪费的重复计算以及困扰传统 pandas 风格管道工作流的不可靠研究到生产的部署所带来的持续头痛。xorq 基于 Ibis 和 DataFusion 构建。 我们非常希望听到您的反馈和贡献。xorq 采用 [Apache 2.0 许可证](https://github.com/letsql/xorq/blob/main/LICENSE),以鼓励开放协作。 <i>代码库</i>: [https://github.com/letsql/xorq](https://github.com/letsql/xorq) <i>文档</i>: [https://docs.xorq.dev](https://docs.xorq.dev) <i>路线图问题</i>: [https://github.com/letsql/xorq](https://github.com/letsql/xorq) 您可以通过 `pip install xorq` 开始使用。 或者,如果您使用 nix,您可以简单地运行 `nix run github:xorq-labs/xorq` 进入 IPython shell。 演示视频: [https://youtu.be/jUk8vrR6bCw](https://youtu.be/jUk8vrR6bCw) 接下来可以查看的一些小节: 1. <i>MCP 服务器 + Flight + XGBoost:</i> [https://docs.xorq.dev/vignettes/mcp_flight_server](https://docs.xorq.dev/vignettes/mcp_flight_server) 2. <i>1 个 DuckDB + 2 个写入器 + 1 个读取器:</i> [https://docs.xorq.dev/vignettes/duckdb_concurrent](https://docs.xorq.dev/vignettes/duckdb_concurrent) 3. <i>OpenAI UDF:</i> [https://docs.xorq.dev/tutorials/hn_data_prep](https://docs.xorq.dev/tutorials/hn_data_prep) 一些值得注意的功能: - 基于 Ibis 的多引擎表达式系统:轻松实现引擎间流式传输 - 使用 `.cache` 操作符缓存表达式 - 便携的 DataFusion 支持的 UDF 引擎,优先支持 pandas 数据框 - 将表达式序列化为 YAML 格式 - 通过组合 UDFs 轻松构建 Flight 端点 感谢您关注我们,我们随时乐意回答任何问题!