我有个问题。如何执行mapreduce作业来实现hiveql语句。例如，我们有一个列名为color、width和其他一些列的表。假设如果我想在配置单元中选择颜色，我可以从tablename；中选择颜色；。同样，在mapreduce中获取颜色的代码是什么。
7z5jn7bk1#
对于将配置单元查询转换为mapreduce作业，ysmart是最佳选择http://ysmart.cse.ohio-state.edu/可以下载ysmart，也可以使用在线版本。
pjngdqdw2#
你可以使用储蓄服务器。您可以通过jdbc连接到hive。您只需要在类路径中包含hivejdbcjar。但这是否可取？我不太确定。这是一个非常糟糕的设计模式，如果你在Map器中这样做，因为Map器的数量是由数据大小决定的。作为mr作业的多个输入，同样可以实现。但是我对你的用例不太了解。所以节俭才是出路。
enxuqcxy3#
检查伴随代码 Chapter 5 - Join Patterns 从 MapReduce Design Patterns 书。在连接模式中，字段在Map器中提取并发出。
Chapter 5 - Join Patterns
MapReduce Design Patterns
3条答案
按热度按时间7z5jn7bk1#
对于将配置单元查询转换为mapreduce作业，ysmart是最佳选择
http://ysmart.cse.ohio-state.edu/
可以下载ysmart，也可以使用在线版本。
pjngdqdw2#
你可以使用储蓄服务器。您可以通过jdbc连接到hive。您只需要在类路径中包含hivejdbcjar。
但这是否可取？我不太确定。这是一个非常糟糕的设计模式，如果你在Map器中这样做，因为Map器的数量是由数据大小决定的。
作为mr作业的多个输入，同样可以实现。
但是我对你的用例不太了解。所以节俭才是出路。
enxuqcxy3#
检查伴随代码
Chapter 5 - Join Patterns从MapReduce Design Patterns书。在连接模式中，字段在Map器中提取并发出。