使用intellij idea连接在本地模式下运行的带有spark的hive

wnavrhmk  于 2021-06-27  发布在  Hive
关注(0)|答案(0)|浏览(421)

我试图在intellij上使用scala/spark代码来读取在hive上创建的表。我已经在ubuntu上安装了hadoop-then-hive,它们都在我的本地环境中正确运行。
下面是我试图在intellij上运行的代码:

import org.apache.spark.sql.SparkSession

// warehouseLocation points to the default location for managed databases and tables
val warehouseLocation = "hdfs:///user/hive/warehouse"

val spark = SparkSession
 .builder()
 .appName("Spark Hive Local Connector")
 .config("spark.sql.warehouse.dir", warehouseLocation)
 .config("spark.master", "local[*]")
 .enableHiveSupport()
 .getOrCreate()

import spark.implicits._
import spark.sql

sql("SELECT * FROM test.employee").show()

在执行这段代码之后,我遇到了一个错误,即找不到表。我还尝试将“warehouselocation”变量设置为“/user/hive/warehouse”,但仍然不起作用。
我想知道是否有必要在hive-site.xml文件中配置metastore,然后将hive.metastore.uris添加到sparksession的配置参数中?欢迎提出其他建议。
谢谢你的帮助!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题