最新

嗨，HN，我是Hugo。在过去的一个月里，我一直在构建Rocky，并快速在公开环境中发布。二进制文件已在GitHub Releases上发布，`dagster-rocky`已在PyPI上可用，VS Code扩展也已在市场上上线。我一直等到信任系统的界面足够连贯，才能作为一个整体进行更广泛的公告。治理的波计划——列分类、每个环境的掩码、每次运行的8字段审计跟踪、`rocky compliance`汇总、角色图的对账、保留政策——在上周的engine-v1.16.0中实现了端到端的功能，并在v1.17.4（标记为2026-04-26）中完善。这是我一直在等待的里程碑。 推介：保留Databricks或Snowflake。为DAG引入Rocky。Rocky是一个基于Rust的控制平面，专为数据仓库管道设计。存储和计算仍然保留在您的数据仓库中。Rocky拥有图形——依赖关系、编译时类型、漂移、增量逻辑、成本、血缘、治理。您当前的技术栈无法提供这些，因为它不拥有DAG。 我认为有几个有趣的点： - 分支 + 重放。`rocky branch create stg`可以为管道的表提供一个逻辑副本（今天是模式前缀；原生Delta SHALLOW CLONE和Snowflake零拷贝是下一个目标）。`rocky replay <run_id>`重建哪些SQL在什么输入上运行。数据仓库中的Git级工作流。 - 从编译器获取列级血缘，而不是事后图形爬取。类型检查器通过连接、CTE和窗口跟踪列。VS Code通过LSP内联显示。 - 治理作为一流的界面。列分类标签加上每个环境的掩码策略，通过Unity Catalog（Databricks）或掩码策略（Snowflake）应用于数据仓库。每次运行都有8字段审计跟踪。`rocky compliance`汇总可以作为CI的门控。通过SCIM和每个目录的GRANT进行角色图对账。带有数据仓库侧漂移探测的保留政策。 - 成本归属。每次运行都会产生每个模型的成本（字节、持续时间）。`rocky.toml`中的`[budget]`块；超支会触发`budget_breach`钩子事件。 - 编译时可移植性 + 爆炸半径。跨Databricks / Snowflake / BigQuery / DuckDB的方言差异检查（12个构造）。`SELECT *`下游影响检查。 - 基于模式的AI。生成的SQL会经过编译器——AI建议在落地之前会进行类型检查。 Rocky不是： - 不是数据仓库——它是其上的控制平面。 - 不是Fivetran的替代品。`rocky load`处理文件（CSV/Parquet/JSONL）；对于SaaS来源，请使用Fivetran、Airbyte或数据仓库原生的CDC。 - 不是dbt Cloud——没有托管UI，没有管理调度器。如果您需要编排，Rocky与Dagster有一流的集成。 适配器：Databricks（GA）、Snowflake（Beta）、BigQuery（Beta）、DuckDB（本地开发/游乐场）。Apache 2.0。 我非常希望能收到关于信任系统框架、治理界面（特别是`rocky compile`中的分类到掩码解析和`rocky compliance` CI门控）、分支/重放设计、成本归属原语或任何其他引起您注意的内容的反馈。欢迎在讨论中深入交流。