通过jdbc访问azure hdinsights中的spark

fgw7neuy  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(363)

我可以使用以下azure中hdinsight群集的url从外部连接到配置单元。

jdbc:hive2://<host>:443/default;transportMode=http;ssl=true;httpPath=/

然而,我找不到这样的Spark线。文件上说这个端口是10002,但它没有对外开放。如何连接到集群以通过jdbc运行sparksql查询?

sg24os4d

sg24os4d1#

hdinsight与网关一起部署。这就是为什么hdinsight集群开箱即用仅启用到集群的https(端口443)和ssh(端口22、23)通信的原因。如果不在虚拟网络(vnet)中部署集群,则没有其他方法可以与hdinsight集群通信。因此,如果您想访问spark thrift服务器,则使用端口443代替端口10002。如果将集群部署在vnet中,还可以通过运行它的ip地址(headnode之一)和标准端口10002访问thrift服务器。另请参见文档中的公共和非公共端口。

p8ekf7hl

p8ekf7hl2#

没有可用的。但你可以在https://feedback.azure.com/forums/217335-hdinsight/suggestions/14794632-create-a-jdbc-driver-for-spark-on-hdinsight.

相关问题