如何使用spark读取配置单元表

tpxzln5u 于 2021-05-18 发布在 Spark

关注(0)|答案(1)|浏览(447)

我想用Spark读Hive表。配置单元表数据以文本文件的形式存储在 /user/hive/warehouse/problem7.db .
我愿意：

val warehouseLocation = hdfs://localhost:9000/user/hive/warehouse
// Create the Spark Conf and the Spark Session
val conf = new SparkConf().setAppName("Spark Hive").setMaster("local[2]").set("spark.sql.warehouse.dir", warehouseLocation)
val spark = SparkSession.builder.config(conf).enableHiveSupport().getOrCreate()

val table1 = spark.sql("select * from problem7.categories")

table1.show(false)

我有以下错误：

Table or view not found: `problem7`.`categories`

Hive scala apache-spark

来源：https://stackoverflow.com/questions/64589137/how-to-read-hive-table-with-spark

1条答案

按热度按时间

sqserrrh1#

我的决定如下：
我在spark/conf中创建一个hive-site.xml并添加：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
      <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
      </property>
    </configuration>

然后使用以下命令启动配置单元元存储服务

hive --service metastore

赞(0）回复(0）举报 2021-05-19

我来回答

如何使用spark读取配置单元表

1条答案

相关问题

热门标签

最新问答