我试图在intellij上使用scala/spark代码来读取在hive上创建的表。我已经在ubuntu上安装了hadoop-then-hive,它们都在我的本地环境中正确运行。
下面是我试图在intellij上运行的代码:
import org.apache.spark.sql.SparkSession
// warehouseLocation points to the default location for managed databases and tables
val warehouseLocation = "hdfs:///user/hive/warehouse"
val spark = SparkSession
.builder()
.appName("Spark Hive Local Connector")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.master", "local[*]")
.enableHiveSupport()
.getOrCreate()
import spark.implicits._
import spark.sql
sql("SELECT * FROM test.employee").show()
在执行这段代码之后,我遇到了一个错误,即找不到表。我还尝试将“warehouselocation”变量设置为“/user/hive/warehouse”,但仍然不起作用。
我想知道是否有必要在hive-site.xml文件中配置metastore,然后将hive.metastore.uris添加到sparksession的配置参数中?欢迎提出其他建议。
谢谢你的帮助!
暂无答案!
目前还没有任何答案,快来回答吧!