spark thrift服务器无法启动

nom7f22z  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(1026)

我正在运行spark 1.5.2 thrift server,在windows的secured yarn-2.7.2上运行hive-1.2.1

spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --master yarn-client "C:\Spark\lib\spark-hive-thriftserver_2.10-1.5.2.jar"

它停了下来,只有一个例外,

16/04/11 12:31:00 INFO AbstractService: Service:HiveServer2 is started.
16/04/11 12:31:00 INFO HiveThriftServer2: HiveThriftServer2 started
16/04/11 12:31:00 ERROR ThriftCLIService: Error starting HiveServer2: could not start ThriftBinaryCLIService
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address hostname1/192.168.65.7:10000.
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:91)
    at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:87)
    at org.apache.hive.service.auth.HiveAuthFactory.getServerSocket(HiveAuthFactory.java:241)
    at org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run(ThriftBinaryCLIService.java:66)
    at java.lang.Thread.run(Thread.java:744)
16/04/11 12:31:00 INFO HiveServer2: Shutting down HiveServer2
16/04/11 12:31:00 INFO AbstractService: Service:ThriftBinaryCLIService is stopped.

如何解决这个问题。
谢谢。

cbjzeqam

cbjzeqam1#

问题的可能原因是端口 10000 已在使用中(如您的注解中所述,hiveserver已在运行,默认情况下使用端口10000)。
在运行thrift server时,可以将其更改为10005。
我建议您按如下方式启动thrift服务器:

$cd $SPARK_HOME
$./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10005 --master  yarn-client

请参阅此处的文档

相关问题