我已经用hortonworks数据平台2.5建立了一个hadoop集群。我使用1个主节点和5个从节点。
每隔几天,我的一个(或多个)工作节点就会得到高负载,似乎会自动重新启动整个centos操作系统。重启后,hadoop组件不再运行,必须通过amabri管理ui手动重启。
这里是“崩溃”节点的屏幕截图(4小时前高负载值后重新启动):
这里是另一个“健康”工作节点的屏幕截图(所有其他工作节点都有类似的值):
节点在5个工作节点之间交替崩溃,主节点似乎运行正常。
什么会导致这个问题?这些高负荷值从何而来?
1条答案
按热度按时间hfyxw5xn1#
这似乎是一个内核问题,因为日志文件(例如。
/var/spool/abrt/vmcore-127.0.0.1-2017-06-26-12:27:34/backtrace
)比如说在运行
sudo yum update
我有内核版本自从操作系统更新后,问题就不再出现了。我会观察这个问题,并在必要时给予反馈。