hive-yarn-修改spark submit的远程端口号(--remote port)

piztneat  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(232)

我们使用的是hadoop2.7.7、spark2.4.4和hiveversion2.3.3。Hive已配置为Spark引擎和部署模式是Yarn;集群。
hive cli部署在一个单独的网段中,从该网段我们可以限制(特定于端口)对yarn的访问。
我们注意到,在hive中提交查询时,生成的spark submit在后台有以下参数:--remote host--remote port等。
主机名(--remote host)正在与配置单元服务器的主机名一起添加,端口(--remote port)正在随机生成。
我们希望控制hiveshell生成的端口号(以便防火墙规则可以相应地更改)。
任何想法都非常感谢。
下面是为来自hive cli的请求生成的示例。
spark submit--executor cores 1--executor memory 2g--num executors 5--properties file/tmp/spark-submit.8964692037304815807.properties--class org.apache.hive.spark.client.remotedriver/usr/local/apache-hive-2.3.3-bin/lib/hive-exec-2.3.3.jar--远程主机hiveserver主机名--远程端口46342--conf hive.spark.client.connect.timeout=30000--conf hive.spark.client.server.connect.timeout=60000--conf hive.spark.client.channel.log.level=null--conf hive.spark.client.rpc.max.size=1262485504--conf hive.spark.client.rpc.threads=8--conf hive.spark.client.secret.bits=256--conf hive.spark.client.rpc.server.address=null
斯里尼。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题