你好,我想知道SparkSQL在Spark中存储表元数据的位置?如果默认情况下它不在Hive元存储中,那么它存储在哪里?
vlju58qv1#
以下是spark-2.2.0文档的解释当hive-site.xml未配置时,上下文会自动在当前目录中创建metastore_db,并创建spark.sql.warehouse.dir配置的目录,默认为启动Spark应用的当前目录中的spark-warehouse目录。请注意,hive-site.xml中的hive.metastore.warehouse.dir属性自Spark 2.0.0以来已弃用。相反,使用spark.sql.warehouse.dir指定数据库在仓库中的默认位置。这里是链接:https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html
hive-site.xml
metastore_db
spark.sql.warehouse.dir
hive.metastore.warehouse.dir
1条答案
按热度按时间vlju58qv1#
以下是spark-2.2.0文档的解释
当
hive-site.xml
未配置时,上下文会自动在当前目录中创建metastore_db
,并创建spark.sql.warehouse.dir
配置的目录,默认为启动Spark应用的当前目录中的spark-warehouse目录。请注意,hive-site.xml
中的hive.metastore.warehouse.dir
属性自Spark 2.0.0以来已弃用。相反,使用spark.sql.warehouse.dir
指定数据库在仓库中的默认位置。这里是链接:https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html