我有一个带Spark的aws电子病历集群。我可以连接到它(spark):
从主节点进入后
来自另一个aws emr集群
但无法连接到它:
从我的本地机器(macos mojave)
来自metabase和redash等非emr机器
我读过这个问题的答案。我已经检查了所有节点上的文件夹权限和磁盘空间是否正常。我的假设是,我面临的问题与詹姆斯·维兹巴在评论中提出的问题相似。然而,我没有足够的声誉来添加评论。此外,这可能是一个不同的问题,因为它是特定于aws电子病历。
连接到主节点后工作正常。
# SSHed to master node
$ ssh -i ~/identityfile hadoop@ec2-xxx-xxx-xxx-xxx.compute-1.amazonaws.com
# on master node
$ /usr/lib/spark/bin/beeline -u 'jdbc:hive2://localhost:10001/default'
# it connects fine and I can run commands, for e.g., 'show databases;'
# Beeline version 1.2.1-spark2-amzn-0 by Apache Hive
从另一个emr集群的主节点连接到此节点也可以正常工作。
但是,从我的本地计算机(macos mojave)、metabase和redash连接不起作用。
我的本地计算机:
# installed hive (for beeline)
$ brew install hive
# Beeline version 3.1.1 by Apache Hive
# connect directly
# I have checked that all ports are open for my IP
$ beeline -u 'jdbc:hive2://ec2-xxx-xxx-xxx-xxx.compute-1.amazonaws.com:10001/default'
# ERROR: ConnectException: Operation timed out
#
# this connection timeout probably has something to do with spark accepting only localhost connections
# I have allowed all the ports in AWS security group for my IP
# connect via port forwarding
# open a port
$ ssh -i ~/identityfile -Nf -L 10001:localhost:10001 hadoop@ec2-xxx-xxx-xxx-xxx.compute-1.amazonaws.com
$ beeline -u 'jdbc:hive2://localhost:10001/default'
# Failed to connect to localhost:10001
# Required field 'client_protocol' is unset!
$ beeline -u 'jdbc:hive2://localhost:10001/;transportMode=http'
# org.apache.http.ProtocolException: The server failed to respond with a valid HTTP response
我已经在ec2中设置了metabase和redash。
元数据库→ 使用数据源spark sql连接→ 结果 java.sql.SQLException: org.apache.spark.SparkException: java.io.IOException: Failed to create local dir in /mnt/tmp/blockmgr*
红土→ 使用数据源配置单元连接→ 结果是同样的错误。
1条答案
按热度按时间n6lpvg4x1#
您需要更新附加到emr主节点的安全组的入站规则。您需要添加网络提供商的公共ip地址。您可以在以下网站上找到您的公共ip地址:
我的ip是什么
有关如何使用ip地址更新入站规则的更多详细信息,请参阅以下aws文档:
授权linux示例的入站流量
如果您在受限的网络环境中工作,还应该检查自己网络的出站规则。
因此,请确保您在网络中具有出站访问权限,并在emr的主节点安全组中对所有要访问的端口具有入站访问权限。