我们希望使用tez运行hive来查询hdfs中的数据，因为多个用户将查询hive，所以我们需要以这样一种方式配置hive，以便并行执行查询由于tez使用yarn将资源分配给多个节点，我们试图限制yarn中每个hive查询分配的容器，但无法找到适当的配置
5rgfhyps1#
用户限制因子是一种控制单个用户可以消耗的最大资源量的方法。我希望下面的Cloudera博客能对你有所帮助。https://blog.cloudera.com/yarn-capacity-scheduler/#:~:text=User%20Limit%20Factor%20is%20a%20way%20to%20control%20the%20max%20amount%20of%20resources%20that%20a%20single%20user%20can%20consume然后我们还有队列级AMshare。https://community.cloudera.com/t5/Support-Questions/how-to-tune-yarn-scheduler-capacity-maximum-am-resource/td-p/289415
1条答案
按热度按时间5rgfhyps1#
用户限制因子是一种控制单个用户可以消耗的最大资源量的方法。我希望下面的Cloudera博客能对你有所帮助。
https://blog.cloudera.com/yarn-capacity-scheduler/#:~:text=User%20Limit%20Factor%20is%20a%20way%20to%20control%20the%20max%20amount%20of%20resources%20that%20a%20single%20user%20can%20consume
然后我们还有队列级AMshare。
https://community.cloudera.com/t5/Support-Questions/how-to-tune-yarn-scheduler-capacity-maximum-am-resource/td-p/289415