如何使用oozie在日期不确定的hdfs中查找数据路径

wz3gfoph  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(395)

我有一个按日期划分的配置单元表(例如20150730)
此外,我还创建了一个配置单元查询,它使用今天的分区日期和最近的前一个分区日期(不一定是昨天)(e、 g.20150730和20150728)
我想使用oozie每天执行这个配置单元查询,但是如何找到上一个分区日期呢(同样,上一个比例日期是不可预测的)

iq0todco

iq0todco1#

同样的问题也在链接中得到了解答。基于时间戳选择最新值的配置单元数据
请检查,您可能需要在示例中应用一些修改。
正如你提到的,日期是不可预测的,但请相信它应该是格式的
你也可以试试

SELECT DISTINCT(date) FROM partition_table ORDER BY usage_dt DESC limit 2;

这些将给你以前的日期,即使它不预测。。。

相关问题