我真的很感谢一些帮助,让cloudera管理器运行在AWSEC2上。这是我的第一次安装,我的目标是使用aws免费层来启动一些节点,并对hadoop集群和cloudera发行版进行一些培训。我在aws ec2上使用redhat rhel 7.2图像。
我按照这里的指示。。。cloudera manager安装
我已经安装了cloudera manager ok,进入屏幕,在那里它会邀请您使用浏览器登录到cloudera manager服务器。但问题就从这里开始。似乎应用程序没有监听端口7180,因此没有希望通过网络从另一台机器连接。我甚至无法在服务器上进行本地连接,但服务似乎运行正常。但它没有监听7180端口。
q1-如何确认配置设置为使用端口7180。?
问题2-这里有没有我遗漏的明显步骤?
提前谢谢,
[编辑..]我开始怀疑免费的ec2主机是否内存不足,无法运行cloudera manager。我看到一条评论暗示…aws论坛帖子。但进程不会崩溃,也不会在日志文件中报告任何问题。那一定没事吧?
[编辑。。。。更多诊断信息……]
这是我做过的诊断的清单checked:-
selinux没有运行[出于安装和测试目的],
广域网防火墙,
ec2防火墙/安全组,
服务器上的本地防火墙,
cloudera管理器日志,
服务是否正常运行?
你能在本地连接吗?
ec2示例上的securty组,它contains:- ssh 和7180端口,
redhat示例上的防火墙/iptables/firewall,tried:- adding 端口到iptables,然后分解iptables,然后将端口添加到firewalld,然后分解firewalld服务,
$ sudo iptables -L
Chain INPUT (policy ACCEPT)
target prot opt source destination
ACCEPT all -- anywhere anywhere ctstate RELATED,ESTABLISHED
ACCEPT tcp -- anywhere anywhere tcp dpt:ssh
ACCEPT tcp -- anywhere anywhere state NEW tcp dpt:7180
ACCEPT tcp -- anywhere anywhere state NEW tcp dpt:7182
但我感觉cloudera manager的安装并不令人满意,或者运行不正常。
我检查了cloudera管理器日志,它以以下内容结束。
$ tail /var/log/cloudera-scm-server/cloudera-scm-server.log
2016-02-25 11:02:23,581 INFO main:com.cloudera.cmon.components.MetricSchemaUpdate: persisting 19264 new metrics
2016-02-25 11:02:28,920 INFO main:com.cloudera.cmon.components.MetricSchemaUpdate: persisting 0 updated metrics
2016-02-25 11:02:28,924 INFO main:com.cloudera.cmon.components.MetricSchemaManager: Cross entity aggregates processed.
当我使用tail-f并重新启动cloudera scm服务器服务时,日志会大量滚动,并返回相同的状态。如果搜索error,则没有带“err”的行。
$ sudo service cloudera-scm-server start
Starting cloudera-scm-server (via systemctl): [ OK ]
$ sudo systemctl status cloudera-scm-server
● cloudera-scm-server.service - LSB: Cloudera SCM Server
Loaded: loaded (/etc/rc.d/init.d/cloudera-scm-server)
Active: active (exited) since Thu 2016-02-25 12:23:03 EST; 44s ago
Docs: man:systemd-sysv-generator(8)
Process: 747 ExecStart=/etc/rc.d/init.d/cloudera-scm-server start (code=exited, status=0/SUCCESS)
因此,如果我试着测试服务,通过从本地机器连接,我得到的行为,使我的东西只是没有听,也许没有正确启动。
尝试在cloudera scm服务器服务启动时用同一个shell中的 curl 戳它
$ curl localhost:7180
curl: (7) Failed connect to localhost:7180; Connection refused
$ wget localhost:7180
--2016-02-25 08:00:16-- http://localhost:7180/
Resolving localhost (localhost)... ::1, 127.0.0.1
Connecting to localhost (localhost)|::1|:7180... failed: Connection refused.
Connecting to localhost (localhost)|127.0.0.1|:7180... failed: Connection refused.
试试看那台机器上监听的端口是什么,不是7180,是怎么回事???
$ netstat -nltp
(No info could be read for "-p": geteuid()=1000 but you should be root.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:7432 0.0.0.0:* LISTEN -
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN -
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN -
tcp6 0 0 :::7432 :::* LISTEN -
tcp6 0 0 :::22 :::* LISTEN -
tcp6 0 0 ::1:25 :::* LISTEN -
5条答案
按热度按时间flmtquvp1#
下面是要查找的内容,以及一个可能的解决方案-给它更多的内存。。。
使用[取决于您的linux风格]检查cloudera scm服务器服务的状态
或
查找状态-
Active: active (running)
但如果你发现-Active: active (exited)
在启动cloudera scm服务器的过程中,您可能会遇到问题。在这种情况下,请查看cloudera scm服务器的日志文件
使用命令
top
以指示系统可用的内存量。可能的解决方案-看看cloudera论坛上的讨论
在本例中,java堆的大小太小。
当我们看到堆已耗尽时,假设这不是内存泄漏或类似的情况,cloudera管理器可能需要更多的堆来运行。这可以在:/etc/default/cloudera scm服务器中配置,例如,您可以将“-xmx2g”更改为“-xmx3g”或“-xmx4g”,如果问题仍然发生,堆转储可能会提供一些线索。
kxkpmulp2#
sycxhyv73#
我建议你跟踪日志。如果您使用的是免费层,cloudera manager将需要一段时间才能出现。。。可能在你开始工作后5分钟或更长时间
cloudera-scm-server
.日志应该显示是否有任何错误,可能是内存分配问题,因为空闲层服务器的可用内存有限。日志条目的小片段看起来很好,很典型——在7180上出现ui之前,它将经历一长串进程。
同时,当这正在进行时,快跑
top
甚至free -g
看看有多少资源被使用-特别是内存。h43kikqp4#
我有完全相同的问题,不能击中厘米登录使用公共dns或ip端口7180。
以下步骤将帮助您:
telnet localhost 7180(应连接)
ss2ws0br5#
无法连接到cloudera manager,未侦听端口7180
1] 检查状态:
sudo service cloudera scm服务器状态
注意:cloudera manager服务将不会运行,因为它异常退出。运行服务cloudera scm server status将打印以下消息“cloudera scm server dead but pid file exists”。
原因:内存不足。
解决方案:检查cloudera管理器服务器在内存耗尽时创建的堆转储。堆转储文件在/tmp目录中创建,文件扩展名为.hprof,文件权限为600。它的所有者和组将是cloudera管理器服务器进程的所有者和组,通常是cloudera-scm:cloudera-scm.
链接:http://www.cloudera.com/documentation/manager/5-0-x/cloudera-manager-diagnostics-guide/cm5dg_troubleshooting_cluster_config.html