我正在开发一个基于web的分析工具,使用php、hadoop/hive(单节点hadoop集群clouderavm、8cpu4gbram)、thriftapi。配置单元节约api按顺序运行配置单元查询,这需要大量的执行时间。我正在尝试对这些配置单元查询使用多线程方法,以便它们可以并行执行并节省执行时间。
我已经将conf/mapred-site.xml文件中的默认值“mapred.tasktracker.map.tasks.maximum”更改为20,将“mapred.tasktracker.reduce.tasks.maximum”更改为20。我还将conf/hive-site.xml中的默认值“hive.exec.parallel”更改为true。
我可以使用php“curl\u multi\u exec”并行运行4个配置单元查询,但是5个并行配置单元查询需要无限的执行时间。在做了前面提到的改变之后,我仍然得到同样的结果。
我可以并行执行4个查询,但不能并行执行5个。
那么,我做错什么了?为什么它可以完美地处理4个并行查询而不能处理5个并行查询?我需要在配置文件中做任何其他更改吗?
谢谢,
暂无答案!
目前还没有任何答案,快来回答吧!