当我设置hadoop集群时,我看到namenode在50070上运行,我进行了相应的设置,它运行良好。但在一些书中,我遇到了名称节点地址:
hdfs://localhost:9000/
或
hdfs://localhost:8020
设置namenode端口的正确数字到底是多少?
ct3nt3jp1#
要访问hadoopwebui,需要键入http://localhost:50075/尽管core-site.xmlhttp://localhost:9000,因为它用于hdfs请求,而50075是web ui的默认端口。
s71maibg2#
还有其他http端口将在服务器中运行以进行监视。示例:50070、8088、9870、9864、9868、16010、16030无法通过web浏览器访问hadoop ipc(进程间通信器)端口(如9000)。您可以通过以下命令在浏览器中找到可以访问的端口:
lsof -i -P -n | grep LISTEN
例如,我的服务器中的端口是:hadoop群集-http://server-name:8088/簇hadoop名称节点/dfs运行状况-http://server-name:9870/dfshealth.html#选项卡概述hadoop数据节点-http://server-name:9864/datanode.htmlhadoop状态-http://server-name:9868/status.htmlhbase主机状态-http://server-name:16010/主状态hbase区域服务器-http://server-name:16030/rs状态
eufgjt7s3#
50070是http的namenode的默认ui端口。对于它的50470。9000是ipc端口(进程间通信器)。如果你点击localhost:50070,您可以看到namenode配置的概览9000(活动)和onlocalhost:9000 you 将得到消息:“看起来您正在向hadoop ipc端口发出http请求。这不是此守护程序上web界面的正确端口。“文件系统元数据操作需要此端口。
ryhaxcpt4#
如果找不到web界面,可以检查每个守护进程监听的端口。例如,要检查namenode正在侦听的端口:
lsof -Pan -iTCP -sTCP:LISTEN -p `jps | grep "\sNameNode" | cut -d " " -f1`
这将为您提供类似的输出
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 4053 pi 275u IPv6 45474 0t0 TCP *:9870 (LISTEN) java 4053 pi 288u IPv6 43476 0t0 TCP 127.0.0.1:9000 (LISTEN)
如你所见 *:9870 已列出,这是web界面。说明: lsof -Pan -iTCP -sTCP:LISTEN -p <pid> 列出所有tcp状态为侦听的网络文件。 -p 按进程id筛选列表。因此,通过在此命令后插入进程id,您可以看到进程正在侦听的所有端口。 jps | grep "\sNameNode" | cut -d " " -f1 获取namenode的进程id。
*:9870
lsof -Pan -iTCP -sTCP:LISTEN -p <pid>
-p
jps | grep "\sNameNode" | cut -d " " -f1
e4eetjau5#
默认的hadoop端口如下:(http端口,它们有web ui):
Daemon Default Port Configuration Parameter ----------------------- ------------ ---------------------------------- Namenode 50070 dfs.http.address Datanodes 50075 dfs.datanode.http.address Secondarynamenode 50090 dfs.secondary.http.address Backup/Checkpoint node? 50105 dfs.backup.http.address Jobracker 50030 mapred.job.tracker.http.address Tasktrackers 50060 mapred.task.tracker.http.address
在内部,hadoop主要使用hadoopipc(进程间通信器的缩写)在服务器之间进行通信。下表显示了hadoop使用的端口和协议。此表不包括上述http端口。
Daemon Default Port Configuration Parameter ------------------------------------------------------------ Namenode 8020 fs.default.name Datanode 50010 dfs.datanode.address Datanode 50020 dfs.datanode.ipc.address Backupnode 50100 dfs.backup.address
查看此链接了解更多信息:http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/
yzckvree6#
在hadoop3.x上,namenode的默认端口是9870。请参阅https://hadoop.apache.org/docs/r3.0.0/ 详情。
a0x5cqrl7#
namenode web ui的默认地址是 http://localhost:50070/ . 您可以在浏览器中打开此地址并检查名称节点信息。namenode服务器的默认地址是 hdfs://localhost:8020/ . 您可以通过hdfsapi连接到它来访问hdfs。是真正的服务地址。
http://localhost:50070/
hdfs://localhost:8020/
j2qf4p5b8#
9000是默认的hdfs服务端口。它没有web ui。50070是默认的namenode web ui端口(尽管在hadoop 3.0以后的版本中50070更新为9870)
qhhrdooz9#
这是因为不同的hadoop配置和发行版的默认值是不同的。我们总是可以通过在core-site.xml中更改fs.default.name或fs.defaultfs属性来配置端口
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
对于hadoop1.0.4,如果我没有像下面这样提到端口号
<value>hdfs://localhost</value>
则默认端口为8020。但是对于一些版本,比如.20,我读到是9000。因此它取决于您使用的hadoop版本。但是所有的配置和分发都使用50070作为hdfsui的标准端口号。
hgncfbus10#
50070是namenode的默认ui端口。而8020/9000是namenode的进程间通信器端口(ipc)。ipc端口参考:https://en.wikipedia.org/wiki/inter-process_communication
10条答案
按热度按时间ct3nt3jp1#
要访问hadoopwebui,需要键入http://localhost:50075/尽管core-site.xmlhttp://localhost:9000,因为它用于hdfs请求,而50075是web ui的默认端口。
s71maibg2#
还有其他http端口将在服务器中运行以进行监视。示例:50070、8088、9870、9864、9868、16010、16030
无法通过web浏览器访问hadoop ipc(进程间通信器)端口(如9000)。
您可以通过以下命令在浏览器中找到可以访问的端口:
例如,我的服务器中的端口是:
hadoop群集-http://server-name:8088/簇
hadoop名称节点/dfs运行状况-http://server-name:9870/dfshealth.html#选项卡概述
hadoop数据节点-http://server-name:9864/datanode.html
hadoop状态-http://server-name:9868/status.html
hbase主机状态-http://server-name:16010/主状态
hbase区域服务器-http://server-name:16030/rs状态
eufgjt7s3#
50070是http的namenode的默认ui端口。对于它的50470。9000是ipc端口(进程间通信器)。如果你点击localhost:50070,您可以看到namenode配置的概览9000(活动)和onlocalhost:9000 you 将得到消息:“看起来您正在向hadoop ipc端口发出http请求。这不是此守护程序上web界面的正确端口。“文件系统元数据操作需要此端口。
ryhaxcpt4#
如果找不到web界面,可以检查每个守护进程监听的端口。例如,要检查namenode正在侦听的端口:
这将为您提供类似的输出
如你所见
*:9870
已列出,这是web界面。说明:
lsof -Pan -iTCP -sTCP:LISTEN -p <pid>
列出所有tcp状态为侦听的网络文件。-p
按进程id筛选列表。因此,通过在此命令后插入进程id,您可以看到进程正在侦听的所有端口。jps | grep "\sNameNode" | cut -d " " -f1
获取namenode的进程id。e4eetjau5#
默认的hadoop端口如下:(http端口,它们有web ui):
在内部,hadoop主要使用hadoopipc(进程间通信器的缩写)在服务器之间进行通信。下表显示了hadoop使用的端口和协议。此表不包括上述http端口。
查看此链接了解更多信息:http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/
yzckvree6#
在hadoop3.x上,namenode的默认端口是9870。请参阅https://hadoop.apache.org/docs/r3.0.0/ 详情。
a0x5cqrl7#
namenode web ui的默认地址是
http://localhost:50070/
. 您可以在浏览器中打开此地址并检查名称节点信息。namenode服务器的默认地址是
hdfs://localhost:8020/
. 您可以通过hdfsapi连接到它来访问hdfs。是真正的服务地址。j2qf4p5b8#
9000是默认的hdfs服务端口。它没有web ui。50070是默认的namenode web ui端口(尽管在hadoop 3.0以后的版本中50070更新为9870)
qhhrdooz9#
这是因为不同的hadoop配置和发行版的默认值是不同的。我们总是可以通过在core-site.xml中更改fs.default.name或fs.defaultfs属性来配置端口
对于hadoop1.0.4,如果我没有像下面这样提到端口号
则默认端口为8020。但是对于一些版本,比如.20,我读到是9000。因此它取决于您使用的hadoop版本。
但是所有的配置和分发都使用50070作为hdfsui的标准端口号。
hgncfbus10#
50070是namenode的默认ui端口。而8020/9000是namenode的进程间通信器端口(ipc)。
ipc端口参考:https://en.wikipedia.org/wiki/inter-process_communication