如何通过emr中的spark让jupyterhub访问配置单元表

b1uwtaje 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(367)

emr中jupytherhub的默认安装无法访问spark中的配置单元上下文。我怎样才能解决这个问题？

1条答案

要授予spark对配置单元上下文的访问权，您需要如下编辑livy.conf文件（/etc/livy/conf.dist/livy.conf）

livy.repl.enableHiveContext = true

然后按照这里的说明重新启动笔记本和livy服务，基本上：

sudo stop livy-server
sudo start livy-server

检查它是否工作的一个简单方法是检查spark笔记本上的数据库：

spark.sql("show databases").show

您可能想在emr启动时使用emr的标准配置功能来配置它，https://docs.aws.amazon.com/emr/latest/releaseguide/emr-configure-apps.html