apache pig组/flatten/join

hl0ma9xz 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(402)

我有两个数据集。
集合a有许多事件，每个事件发生在一个日期，每个日期有多个事件。如：

10/23/2015, event1
10/23/2015, event2
9/17/2014, event3

b组每个日期都有天气观测。每个日期只有一个观察结果。如：

10/23/2015, obs1
10/22/2015, obs2
9/17/2014, obs3

我想附上每个事件的天气观测其各自的日期，例如：

10/23/2015, event1, obs1
10/23/2015, event2, obs1
9/17/2014, event3, obs3

我认为这可以通过将集合a按日期分组，与集合b按日期进行内部连接，然后将结果展平来实现。
有人能告诉我这是不是最好的方法，并告诉我要使用的代码吗？谢谢

hadoop bigdata apache-pig

来源：https://stackoverflow.com/questions/34043862/apache-pig-group-flatten-join

1条答案

按热度按时间

sqougxex1#

无需分组和展平。只是一个连接，然后你必须删除重复的 date 列。

a = LOAD 'datasetA.txt' USING PigStorage(',') as (date:chararray, evt:chararray);
b = LOAD 'datasetB.txt' USING PigStorage(',') as (date:chararray, obs:chararray);
c_join = a JOIN b ON a.date == b.date;
c = FOREACH c_join GENERATE a::date, a::evt, b::obs;

输出

dump c;
(9/17/2014, event3, obs3)
(10/23/2015, event2, obs1)
(10/23/2015, event1, obs1)

赞(0）回复(0）举报 2021-06-02

我来回答

apache pig组/flatten/join

1条答案

相关问题

热门标签

最新问答