在没有hadoop的情况下配置apache配置单元本地多用户或spark单机版

tjvv9vkg  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(413)

我们在Fedora27上单独运行ApacheSpark进行教学。我已经为metastore\u db配置了mysql。
我尝试按照以下提示在本地模式下运行配置单元,因此运行export命令: export HIVE_OPTS='-hiveconf mapred.job.tracker=local -hiveconf fs.default.name=file:///tmp -hiveconf hive.metastore.warehouse.dir=file:///tmp/warehouse' 启动前 hive . 另一个博客建议这样做:

export HIVE_OPTS='-hiveconf mapred.job.tracker=local -hiveconf fs.default.name=file:///tmp -hiveconf hive.metastore.warehouse.dir=file:///tmp/warehouse -hiveconf javax.jdo.option.ConnectionURL=jdbc:derby:;databaseName=/tmp/metastore_db;create=true'

所以我跑了 chmod 777 /tmp/warehouse 但是后续的用户不会重写本地文件数据库中的所有内容吗?有没有更好的方法来实现这一点?每当我尝试在spark中使用hive或者不导出本地文件数据库时,我都会得到 localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; 错误,即hadoop运行的端口。为了教学目的,我们尝试在没有hadoop的情况下实现这一点。每个用户是否应该为其中一个指定不同的路径 warehouse 或者 databaseName ,也许在他们的主目录中?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题