如何使用Azure数据工厂更新数据湖的JSON文件

9ceoxa92 于 12个月前发布在其他

关注(0)|答案(1)|浏览(200)

1.我们在blobstorage中有一个json文件，我们必须通过输入表名来更新json文件
1.通过在AZUREDATA工厂中传递值来更新特定的给定表lasttrackingver
1.示例数据中的“lastupdate”列需要针对任何更新的表进行更改
1.“tableupdate”需要更新我们给定的特定输入表
样本数据看起来像

{
  "name" :"job schedule", 
  "lastupdate": "2023-09-15"T13:00:00.000000Z", 
  "schedule":{
  
    "BANKtable" :
    [
      { 
        "tablename":"mani",
       "pipeline":"manikana",
      "tableupdate": "2023-09-15"T13:00:00.000000Z",
   
     "lasttrackingver":"0"
      },
    { 
        "tablename":"ganesh",
       "pipeline":"ganeshkulkarni",
      "tableupdate": "2023-09-15"T13:00:00.000000Z",
   
     "lasttrackingver":"0"
      },
   { 
        "tablename":"jagadesh",
       "pipeline":"jaga",
      "tableupdate": "2023-09-15"T13:00:00.000000Z",
   
     "lasttrackingver":"0"
      }
]
}

字符串
例如input：tablename：ganesh lasttrackingver=2
输出：

{
  "name" :"job schedule", 
  "lastupdate": "TODAYSDATE", 
  "schedule":{
  
    "BANKtable" :
    [
      { 
        "tablename":"mani",
       "pipeline":"manikana",
      "tableupdate": "2023-09-15"T13:00:00.000000Z",
   
     "lasttrackingver":"0"
      },
    { 
        "tablename":"ganesh",
       "pipeline":"ganeshkulkarni",
      "tableupdate": "TODAYSDATE",
   
     "lasttrackingver":"2"
      },
   { 
        "tablename":"jagadesh",
       "pipeline":"jaga",
      "tableupdate": "2023-09-15"T13:00:00.000000Z",
   
     "lasttrackingver":"0"
      }
]
}

型
我们没有得到正确的方法。

Azure

来源：https://stackoverflow.com/questions/77386255/how-to-update-json-file-that-is-data-lake-using-azure-data-factory

1条答案

按热度按时间

b4qexyjb1#

1.在底层和流水线级创建参数

1.拖动一个Cubillow活动，并在“参数”选项卡中选择Cubillow参数的值作为管道参数，以便在调试管道

时在运行时传递该值
1.在XML中，添加源转换，将数据集指向ADLS中的JSON文件，并在JSON设置

中选择“Array of document”
1.添加扁平化转换并按BANK表展开，选择下面的所有列并预览可能显示为表格格式的扁平化数据。单击加号并从扁平化转换