postgresql 如何将dbt项目从dbt-postgres迁移到dbt-databricks

wrrgggsh 于 2023-04-29 发布在 PostgreSQL

关注(0)|答案(2)|浏览(167)

我已经为dbt-postgres配置并运行了我的dbt-project。有没有一种简单的方法可以将其移植到dbt- databricks而不必重新编写模型。我正在为我的组织构建一个关于postgres，databricks和Azure SQL的dbt演示，以了解它是否适合我们的环境。我已经尝试过的：我已经成功地在dbt-postgres上运行了管道。

postgresql

来源：https://stackoverflow.com/questions/76071932/how-to-migrate-your-dbt-project-from-dbt-postgres-to-dbt-databricks

2条答案

按热度按时间

bxgwgixi1#

dbt处理DDL/DML样板文件;对于select语句，postgres和sparkSQL/databricks并不遥远，但是您必须对模型进行一些调整以使其运行，并且您将希望利用databricks中的一些配置，例如分区。
简化这种转换的一种方法是使用dbt的cross-database macros，它标准化了datediff等函数的语法，这些语法可能因方言而异。
另一个选择是，如果你的模型不包含太多的jinja，使用sqlglot在方言之间转换。
如果你在postgres和databricks中有相同的数据，你可以使用datafold的data-diff来比较数据存储之间的建模数据的结果，以确认你正确地移植了一切。