kerberos环境下如何用java访问hive数据库

yqlxgs2m  于 2021-06-29  发布在  Hive
关注(0)|答案(2)|浏览(490)

我在kerberos环境中使用hadoop,而且我对kerberos还不熟悉。我想用java访问hive数据库,我浏览了hive官方网站,但他们给出了非常笼统的信息。
有人能给我具体的答案吗?

kyxcudwk

kyxcudwk1#

使用kerberos,一切都会变得更复杂。
任何jdbc代码之前的配置:
进口:

  1. import org.apache.hadoop.conf.Configuration;
  2. import org.apache.hadoop.fs.Path;
  3. import org.apache.hadoop.security.UserGroupInformation;
  4. import org.apache.log4j.Logger;

初始化配置代码:

  1. Configuration systemConf = new Configuration();
  2. if (isLocalRun()) {
  3. LOG.info("Running on cluster, using hive-site.xml config");
  4. systemConf.addResource(new Path("/etc/hadoop/current/hive/hive-site.xml"));
  5. } else {
  6. LOG.info("Running from local computer, no hive-site.xml added, using only JDBC");
  7. }
  8. systemConf.set("hadoop.security.authentication", "Kerberos");
  9. UserGroupInformation.setConfiguration(systemConf);
  10. UserGroupInformation.loginUserFromKeytab(principal, keytabPath);

然后您可以获得连接:

  1. try (Connection conn = DriverManager.getConnection(conf.hive().getConnectionString())) {
  2. HiveDatabaseMetaData metadata = (HiveDatabaseMetaData) conn.getMetaData();
  3. parseDatabase(hiveDatabase, conn, metadata,
  4. }

配置单元jdbc驱动程序的maven依赖关系

  1. <dependency>
  2. <groupId>org.apache.hive</groupId>
  3. <artifactId>hive-jdbc</artifactId>
  4. <version>2.0.0</version>
  5. <classifier>standalone</classifier>
  6. </dependency>

islocalrun()=这取决于是在计算机中运行还是直接在集群上运行
在集群上运行时,需要为所有配置添加hive-site.xml(它可以是与本例中不同的路径)
从本地使用jdbc连接字符串进行外部集群连接

展开查看全部
vm0i2vca

vm0i2vca2#

我认为kerbrose实现是一个非常庞大的概念,对于一个小任务来说,完成它可能会非常耗时。
这是你的问题的快速解决方法!
要在安全环境中访问配置单元,请考虑以下事项:
-要访问hive,您需要提供特定于该hive版本的所有jar,如hive官方网站上的列表所示。
-接下来提供特定于配置单元版本的驱动程序名,例如,对于配置单元server2“org.apache.hive.jdbc.hivedriver”
-提供配置单元连接url,例如。jdbc:hive2://节点。addr:10000/default;主体=配置单元/节点。addr@realm.local
我们在连接url中提供了连接地址和安全认证。对于kerberos,将有身份验证字符串,这是我们在kerberos实现时设置的kerberos原则。
此字符串与我们使用beeline(例如beeline-u)连接到配置单元服务器时提供的字符串相同jdbc:hive2://节点。addr:10000/default;主体=配置单元/节点。addr@realm.local"
下面是一个小代码:

  1. import java.sql.Connection;
  2. import java.sql.DriverManager;
  3. import java.sql.ResultSet;
  4. import java.sql.Statement;
  5. import java.util.Date;
  6. public class Connect {
  7. private static ResultSet res;
  8. public static void main(String[] args) throws Exception {
  9. Class.forName("org.apache.hive.jdbc.HiveDriver");
  10. System.out.println("Process started at:"+new Date());
  11. Connection con = DriverManager.getConnection("jdbc:hive2://node.addr:10000/default;principal=hive/node.addr@ABCREALM.LOCAL");
  12. Statement stmt = con.createStatement();
  13. stmt.execute("create table testTable (key string,col1 string)");
  14. System.out.println("Table Created successfully");
  15. con.close();
  16. }
  17. }
展开查看全部

相关问题