如何使用hadoop生成时间序列?

ehxuflar  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(420)

用hadoop(或pig或hive)生成时间序列最简单的方法是什么?或者在哪里可以获得有关正确函数的信息?
例如,我想生成一个从00:00:00 01/01/2000到23:59:59 31/12/2010的1秒序列。
对于其他的程序,比如r,是非常简单的,因为它们有很多函数来处理日期和时间。
当做

bqujaahr

bqujaahr1#

可以使用空map()方法编写Map器。在cleanup()方法中,在将时间戳写入上下文之前,可以使用几个java包(例如joda)中的任何一个来帮助迭代并格式化时间戳。

roejwanj

roejwanj2#

当你发现r这么简单的时候,为什么不使用hadoop流媒体呢
好吧,没有ootb功能可以做到这一点。正如您已经提到的,r有许多很酷的内置函数,您可以在流媒体mr作业中使用这些函数。

相关问题