我是hadoop的初学者，有人能帮我在mapreduce job中阅读json吗。我在google上搜索过，发现jaql适合阅读json，但是我没有找到任何关于如何在map reduce工作中实现它的文档。还有其他框架支持在map reduce中读取json吗？有什么建议吗？提前谢谢
7vux5j2d1#
我宁愿相信mapreduce框架本身来处理这个问题。mapreduce允许我们编写定制的inout/output格式来处理it ootb不支持的数据，比如json。请看这个问题的例子。我更喜欢这个，因为我不需要任何第三方的东西。这只是一个扩展mapreduceapi的问题（但这只是我的选择）。其他人可能会找到更合适的东西）。但是，最简单的方法imho是使用hive或pig来处理json数据。您不需要做太多工作就可以让它工作，因为这两个项目都支持ootbjson。关于hivejson-serde和pig的jsonloader和jsonstorage，请参见本文。hth公司
1条答案
按热度按时间7vux5j2d1#
我宁愿相信mapreduce框架本身来处理这个问题。mapreduce允许我们编写定制的inout/output格式来处理it ootb不支持的数据，比如json。请看这个问题的例子。我更喜欢这个，因为我不需要任何第三方的东西。这只是一个扩展mapreduceapi的问题（但这只是我的选择）。其他人可能会找到更合适的东西）。
但是，最简单的方法imho是使用hive或pig来处理json数据。您不需要做太多工作就可以让它工作，因为这两个项目都支持ootbjson。关于hivejson-serde和pig的jsonloader和jsonstorage，请参见本文。
hth公司