我试图在命令行中对远程spark集群运行sparksql(配置单元查询)。但在连接到spark master之后,我得到了“找不到表”。
这就是我正在尝试的 $SPARK_HOME/bin
:
./spark-sql --jars /.../calliope-hive-assembly-1.1.0-CTP-U2-2.jar \
/../calliope-hive_2.10-1.1.0-CTP-U2.jar --master spark://<<master_url>>:7277 \
--executor-memory 1000M --total-executor-cores 2 " select count(*)*****"
这就是我得到的
查询出错:未找到表:
请帮忙
1条答案
按热度按时间1mrurvl11#
配置单元中是否存在表。?如果是,请确保您提供的Hive配置,以Spark。spark应该了解配置单元元存储的详细信息,以获取表的元数据。。
请检查下面的链接了解集成。http://spark.apache.org/docs/latest/sql-programming-guide.html#hive-表
如果已经处理好了,请告诉我。如果小心的话,肯定还有其他问题。