使用pig操作json文件

dnph8jn4  于 2021-06-21  发布在  Pig
关注(0)|答案(0)|浏览(252)

我已经在hdfs(在虚拟机上运行的hdf2.4沙盒)中调用了一个json文件,现在我想使用pig来处理文件中的数据。
我开始尝试使用jsonloader定义一个模式来将文件传递给pig,但是当我读到pig不能处理多行文件时,我放弃了这个方法,我怀疑这可能是(这是我第一次使用json,数据文件的结构非常复杂-它是5天内每3小时的天气预报数据,源于met office api(http://www.metoffice.gov.uk/datapoint/product/uk-3hourly-site-specific-forecast).
我的问题是:什么是最快,最简单的方法,简单地把这些数据放到pig中,这样我就可以开始操作它了?
我碰巧在arm上运行了下面的脚本来加载文件,但是由于文件只有4.3kb,而且脚本现在已经运行了15分钟以上,没有生成任何结果或日志,所以我断定这种方法没有成功:

jdata = LOAD '/user/maria_dev/MetFiles/matched/BolsoverSite.json' USING PigStorage(',')

非常感谢您的指导。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题