Azure Data Factory托管的Airflow与Purview集成以获取Lineage

gg0vcinb  于 2023-11-21  发布在  其他
关注(0)|答案(1)|浏览(141)

我正在尝试使用Azure数据工厂管理的Airflow用于我的用例。我正在尝试使用Azure Purview作为数据治理工具,并希望使用Airflow向其发出沿袭。我正在尝试遵循Microsoft Document here。但是,我所坚持的是在我创建事件中心之后,我如何配置.yml文件,因为Azure为我做了它,我无法访问它。我也无法创建正确指向Eventhub的OPENLINEAGE_URL,它会抛出401(假设我没有正确提供SAS)。这是我提供的URL:
https://{event-hub-namespace}.servicebus.windows.net/{event-hub}/messages

uelo1irk

uelo1irk1#

我也在做同样的工作,但还没有达到预期的结果。
关于.yml文件的配置,在下面的链接中有一个建议:https://learn.microsoft.com/en-us/answers/questions/1405026/azure-data-factory-managed-airflow-integration-wit
其中提到:
您是否尝试创建一个新的变量并提供YML内容?
1.创建一个新变量。
1.在“Key”字段中,输入“openlineage_config_yaml”。
1.在“值”字段中,输入.yml文件的内容。
1.单击“保存”按钮以保存变量。
1.重新启动Airflow调度程序以应用更改。

相关问题