hive被困在查询中,会有什么问题?

x759pob2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(397)

我已经安装了hive,它可以正确地执行基本查询,但是对于像distinct这样的查询,它会陷入困境。转到链接以检查显示的问题
已接受:等待分配、启动am容器并向rm注册。
作为yarnapplicationstage。
我也尝试过在yarn-site.xml中通过增加yarn调度器容量的百分比来进行更改。但什么都没用。它似乎仍在原地踏步。我已经附上了yarn-site.xml代码、应用程序截图和hive截图。此外,也没有不健康的节点和相同的屏幕截图已附加。

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>mapreduce.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>1.0</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>   
</configuration>

错误图像的顺序如下,
配置单元卡住错误
应用程序管理器
节点详细信息
Yarn节点管理器日志



[

4 [

5

flvlnr44

flvlnr441#

集群度量显示您没有vcore、内存和活动节点,因此这意味着您在向集群添加节点管理器之前无法进行任何处理。
资源管理器是调度器,而节点管理器提供计算资源。
在执行distinct时看到这种情况的原因是,hive可以在不触发mapreduce作业的情况下处理某些查询。

参考文献

Yarn结构
hive如何决定何时使用map reduce以及何时不使用?

ryevplcw

ryevplcw2#

我解决了这个错误。问题出在etc/hosts文件上。由于配置单元运行不正常,我的系统的ip已更改。

相关问题