Delta Live表--维度变化缓慢

iih3973s 于 2022-10-07 发布在 Spark

关注(0)|答案(2)|浏览(219)

是否有可能使用Delta Live Tables创建一种缓慢变化的维度机制？我想实现类似于https://docs.databricks.com/_static/notebooks/merge-in-scd-type-2.html的东西

但在DLT文档中，我发现“不支持处理来自源表的更新，例如，合并和删除。要处理更新，请参阅Apply Changes Into命令”--但https://docs.databricks.com/data-engineering/delta-live-tables/delta-live-tables-cdc.html它仅适用于CDC，您有SCD的想法吗？

pyspark

来源：https://stackoverflow.com/questions/72459751/delta-live-tables-slowly-changing-dimensions

2条答案

按热度按时间

rqmkfv5c1#

正如您现在注意到的，DLT只支持SCD类型1(CDC)。对SCD Type 2的支持目前处于私有预览阶段，应该在不久的将来就可以使用了--有关它的更多详细信息，请参考Databricks Q2 public roadmap。如果您的客户中有解决方案架构师或客户成功工程师，请要求他们将您纳入私人预览。

更新，2022年9月：SCD类型2自2022年6月起正式推出：https://www.databricks.com/blog/2022/06/29/delta-live-tables-announces-new-capabilities-and-performance-optimizations.html

赞(0）回复(0）举报 2022-10-07

juzqafwq2#

DLT现在在公共预览版中支持SCD Type 2。您可以在this document中了解并查看示例

赞(0）回复(0）举报 2022-10-07