SqoopOozie将查询结果写入文件

fiei3ece  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(297)

我有一个当前的oozie作业,它查询oracle表并写入-覆盖配置单元查询的结果。现在我需要防止覆盖配置单元表并保存该配置单元表上的现有数据。为此,我想计划这样的步骤:第一步:运行“selectcount(*)from…”查询获取记录计数,并将其写入文件。第二步:检查写入文件的计数。第三步:决定是否应用第四步。第四步:运行主查询并覆盖配置单元表。
我的问题是我找不到任何关于文档和/或在文件中编写它们的例子(我知道导入和导出是sqoop的目标)。有人知道怎么把结果写在文件上吗?

dw1jzc5e

dw1jzc5e1#

理论上:
构建一个pig作业来运行“count(*)”,并将结果转储到stdout,就像它是一个java属性一样。 my.count=12345 在oozie中,使用 <capture_output/> flag,运行那个作业
然后根据key的值定义一个决策 my.count 使用适当的el函数
在实践中,好吧,玩得开心!

相关问题