我想用java应用程序测试从apachehbase中提取数据。应用程序将通过jdbc使用类似sql的查询来访问apachephoenix。
我已经使用ambari和hortonworkshdp2.5平台在一台机器上建立了hadoop“集群”。我还使用ambari的向导对环境进行了kerberized,其中我的kdc是一台运行windowsactivedirectory的独立机器。
ambari没有显示错误,我可以使用 sqlline.py
通过phoenix成功地对hbase进行类似sql的调用。我以这种方式设置了一些示例表(请参阅hortonworks phoenix&odbc教程,尽管我不得不这样做) kinit
先等等)。
但是,我在创建java应用程序使用的jdbc数据源时遇到了问题。在我的例子中,我计划在wildfly10.1上托管webapp,并且我正在使用eclipsejee和jboss工具插件进行开发。
以下是我用来创建数据源的步骤:
数据源资源管理器>数据库连接>新建。。。
连接配置文件:通用jdbc
网址: jdbc:phoenix:hdfs.eaa.local:2181/hbase-secure:HTTP/hbase.eaa.local@EAA.LOCAL:jboss.server.temp.dir/spnego.service.keytab
用户名:hbase-我不知道该放什么-
驱动程序:我创建了一个“genericjdbcdriver”类型的新驱动程序,并且我必须为所有的依赖项添加jar文件 phoenix-core-[version].jar
. 驱动程序类是 org.apache.phoenix.jbdc.PhoenixDriver
.
我从hortonworks社区的一篇现存文章中获得了连接字符串,这就是为什么它包含用于连接的kerberos主体和keytab。
当我尝试测试数据源连接时,它会在抛出错误消息(大约35次尝试之后)之前搅动大约5分钟。客户端返回java异常,即套接字处于“关闭状态”,zookeeper日志的帮助较小:
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560217 with negotiated timeout 40000 for client /192.168.40.3:52674
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43860
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:43860
INFO [Thread-1448:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43860 (no session established for client)
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@868] - Client attempting to establish new session at /192.168.40.41:43922
INFO [SyncThread:0:ZooKeeperServer@617] - Established session 0x157aef451560218 with negotiated timeout 40000 for client /192.168.40.41:43922
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@118] - Successfully authenticated client: authenticationID=hbase/hdfs.eaa.local@EAA.LOCAL; authorizationID=hbase/hdfs.eaa.local@EAA.LOCAL.
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:SaslServerCallbackHandler@134] - Setting authorizedID: hbase
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:ZooKeeperServer@964] - adding SASL authorization for authorizationID: hbase
INFO [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@494] - Processed session termination for sessionid: 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:43922 which had sessionid 0x157aef451560218
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@197] - Accepted socket connection from /192.168.40.41:44008
INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@827] - Processing ruok command from /192.168.40.41:44008
INFO [Thread-1449:NIOServerCnxn@1007] - Closed socket connection for client /192.168.40.41:44008 (no session established for client)
注意。192.168.40.3是vpn服务器,我的主机使用它来通过hadoop集群进入环境。192.168.40.41是运行集群的计算机, hdfs.eaa.local
.
有很多接受的插座连接,然后立即关闭。有时客户端会成功地进行身份验证(因此我对kerberos设置很有信心),但随后会立即终止会话。
我还尝试在wildfly中直接部署数据源 jboss-cli
以及 standalone.xml
以及 module.xml
修改。但是我遇到了很多缺少依赖项的问题,我不知道如何在不为每个需要的jar(还有很多)创建新模块的情况下解决这些问题 phoenix-core-[version].jar
. 我遵循这个指南。
我可以做些什么来修复问题或进一步诊断?我已经拔头发好几天了。
1条答案
按热度按时间guicsvcw1#
你需要加上
hbase-site.xml
以及core-site.xml
到你的类路径。请参阅如何使用wildfly连接到kerberos安全的apache phoenix数据源?更多信息。