我必须使用hadoop map reduce处理一些保存在amazondynaminodb中的数据。我在互联网上搜索dynamodb的hadoop inputformat，却找不到。我不熟悉dynamodb，所以我猜有一些技巧与dynamodb和hadoop有关？如果有任何地方实现这种输入格式，你能分享吗？
iyfamqjs1#
找不到可以在mapreduce中直接使用的输入格式。但是，这里有一篇文章aws howto：使用amazonelasticmapreduce和dynamodb（guest post）使用hive运行marreduce作业。
nwo49xxi2#
经过大量搜索，我在亚马逊的一个库中找到了dynamodbinputformat和dynamodboutputformat。在AmazonElasticMapReduce上有一个名为HiveBigBirdHandler的库，其中包含dynamodb的输入和输出格式。完整的类名是：org.apache.hadoop.hive.dynamodb.write.dynamodboutputformat和org.apache.hadoop.hive.dynamodb.read.dynamodbinputformat我希望这些课程对社区有帮助。
2条答案
按热度按时间iyfamqjs1#
找不到可以在mapreduce中直接使用的输入格式。但是，这里有一篇文章aws howto：使用amazonelasticmapreduce和dynamodb（guest post）使用hive运行marreduce作业。
nwo49xxi2#
经过大量搜索，我在亚马逊的一个库中找到了dynamodbinputformat和dynamodboutputformat。
在AmazonElasticMapReduce上有一个名为HiveBigBirdHandler的库，其中包含dynamodb的输入和输出格式。完整的类名是：org.apache.hadoop.hive.dynamodb.write.dynamodboutputformat和org.apache.hadoop.hive.dynamodb.read.dynamodbinputformat
我希望这些课程对社区有帮助。