我需要在本地驱动器上下载配置单元才能通过spark访问配置单元数据吗?

yfjy0ee7  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(305)

我有一个mac,我有几个sparksql查询需要在另一台计算机的配置单元数据上运行。我知道我需要core-site.xml、hdfs-site.xml和hive-site.xml文件才能访问配置单元表,但是我是否需要在我的计算机上安装apache配置单元才能做到这一点?现在,我在spark/conf中通过我在互联网上找到的其他人的例子得到了这些文件。我只需要输入用户名,密码,和连接的Hive服务器通过这些直接从spark的网址工作吗?谢谢!

m1m5dgzv

m1m5dgzv1#

您只需要配置单元客户端,而不是配置单元服务器。spark包括这些
您可以使用任何jdbc客户机(例如,我在mac上成功地使用了dbvizulizer)和hivejdbcjar,而不一定是sparksql
类似的post-如何在sparksql中以编程方式连接到配置单元元存储?

相关问题