spark-未能创建spark客户端

4uqofj5v  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(439)

当我在配置单元上发出select查询时,出现以下错误

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create spark client.

我关注了一些关于内存配置的网站,但没有什么真正的帮助。我的环境中的设置如下。有人能帮忙吗。

yarn-site.xml
       yarn.nodemanager.resource.memory-mb  -    4096
       yarn.nodemanager.resource.cpu-vcores -    2
       yarn.scheduler.minimum-allocation-mb -   128
       yarn.scheduler.maximum-allocation-mb -  1024

mapred-site.xml
       mapreduce.framework.name     -  yarn
       mapreduce.map.memory.mb          -  4096
       mapreduce.reduce.memory.mb       -  8192
       mapreduce.map.java.opts          -  -Xmx3072m
       mapreduce.reduce.java.opts       -  -Xmx6144m

hive-site.xml

       hive.execution.engine            -  spark
       spark.home                       -  /.../.../binary/spark-1.6.1-bin-hadoop2.6
       spark.master                 -  yarn-client
       spark.eventLog.enabled           -  true
       spark.eventLog.dir               -  /.../.../binary/spark-1.6.1-bin-hadoop2.6/logs
       spark.executor.memory            -  512m
       spark.executor.cores         -  2

spark-env.sh
       export SPARK_WORKER_CORES=4
       export SPARK_WORKER_MEMORY=16384M
       export SPARK_EXECUTOR_CORES=1
       export SPARK_EXECUTOR_MEMORY=8192M
x6492ojm

x6492ojm1#

您可以在hivecli中使用hive-e,查看登录控制台 hive --hiveconf hive.root.logger=DEBUG,console -e "select count(1) from tableA;" 我通过更改hdfs上的/user dir权限来解决这个问题。

相关问题