使用pig拉丁语从文件中获取最大日期

vs3odd8k  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(366)

我有一个包含日期和其他列的文本文件。日期列值的格式为“yyyy-mm-dd hh:mm:ss”。
从文本文件,我想得到最大日期或最新日期(注意:我看到max函数只在group by时工作(拉丁语)
有没有人能建议,有没有一种方法可以通过使用pig拉丁语或其他替代语来达到这个目的?

2eafrhcq

2eafrhcq1#

基于样本数据集,

Apple|$600|2009-01-14 00:00:00| 
Apple|$650|2010-12-16 10:20:20| 
Banana|$800|2019-12-14 00:00:00| 
Banana|$800|2016-11-11 01:45:03|

日期列中的最大值可以使用

fruits = LOAD 'fruits.txt' using PigStorage('|');
dt = FOREACH fruits GENERATE ToDate($2, 'yyyy-MM-dd HH:mm:ss');
odt = ORDER dt by $0 DESC;
max = LIMIT odt 1;
dump max;

相关问题