我是spark（spark\u sql）的新手，我已经将数据加载到spark\u sql中，我还创建了表并将一些数据加载到其中。我的问题是：模式和表数据将存储在哪里？
bxfogqkk1#
存储表架构的位置Hive元存储默认情况下，derby数据库是“metastore”。你可以打开你运行spark作业的文件夹，你会发现 metastore_db 文件夹在使用配置单元时，配置单元元存储是安装配置单元时建立的mysql、postgres、oracle数据库。存储表的位置配置单元仓库目录高密度光纤 /apps/hive/warehouse/<databasename>/<tablename>.db/ ，例如在hortonworks环境中。默认的sparksql将把gzipParquet文件以顺序编号的形式保存到该目录中 part-00xyz 表示“分区”的文件。
metastore_db
/apps/hive/warehouse/<databasename>/<tablename>.db/
part-00xyz
1条答案
按热度按时间bxfogqkk1#
存储表架构的位置
Hive元存储
默认情况下，derby数据库是“metastore”。你可以打开你运行spark作业的文件夹，你会发现
metastore_db文件夹在使用配置单元时，配置单元元存储是安装配置单元时建立的mysql、postgres、oracle数据库。
存储表的位置
配置单元仓库目录
高密度光纤
/apps/hive/warehouse/<databasename>/<tablename>.db/，例如在hortonworks环境中。默认的sparksql将把gzipParquet文件以顺序编号的形式保存到该目录中
part-00xyz表示“分区”的文件。