sparksql命令行使用hive查询远程集群

s5a0g9ez  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(344)

我试图在命令行中对远程spark集群运行sparksql(配置单元查询)。但在连接到spark master之后,我得到了“找不到表”。
这就是我正在尝试的 $SPARK_HOME/bin :

./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \
    /../calliope-hive_2.10-1.1.0-CTP-U2.jar  --master spark://<<master_url>>:7277 \
    --executor-memory 1000M --total-executor-cores 2 " select count(*)*****"

这就是我得到的
查询出错:未找到表:
请帮忙

1mrurvl1

1mrurvl11#

配置单元中是否存在表。?如果是,请确保您提供的Hive配置,以Spark。spark应该了解配置单元元存储的详细信息,以获取表的元数据。。
请检查下面的链接了解集成。http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-表
如果已经处理好了,请告诉我。如果小心的话,肯定还有其他问题。

相关问题