java通过kerberos身份验证使用sparksql进行集群连接

n53p2ov0  于 2021-06-29  发布在  Java
关注(0)|答案(0)|浏览(258)

关闭。这个问题需要细节或清晰。它目前不接受答案。
**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。

8天前关门了。
改进这个问题
制作一个简单的java应用程序,可以使用sparksql连接和查询我的集群,之前使用impala/hive,但第一次使用sparksql。宣布sparksession。但不知道如何告诉sparksql使用什么主机和端口。了解.master(local)从本地运行,但不确定在下面的代码中给出服务器名称的位置-

SparkSession spark = SparkSession
.builder()`enter code here`
.appName("Java Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate();

我们需要配置示例而不是sparkesession吗?

Configuration conf = new Configuration();

conf.set("fs.hdfs.impl",DistributedFileSystem.class.getName());            
conf.addResource(pathToHdfsSite);
conf.addResource(pathToCoreSite);
conf.set("hadoop.security.authentication", "kerberos");
conf.set("hadoop.rpc.protection", "privacy");
UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab(ktUserName, ktPath);

同样对于kerberos身份验证,除了keytab和kerb文件之外,还需要什么本地身份验证?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题