测试hiveserver2元存储是否正常工作

llycmphe  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(209)

我最近将集群的hiveserver升级到hiveserver2。我还设置了hivemetastore(在远程模式下),并从嵌入式模式(我们之前运行的)移走。
我想测试是否正确配置了这些东西,以及metatdata是否实际存储在远程metastore中。最简单的方法是什么?我可以检查他们的某些日志来验证这种行为吗?
我担心没有正确配置,我仍然在本地模式下运行metastore,因为当我在托管metastore的机器上查询postgresql数据库时,metastore db中没有行(尽管我已经通过beeline创建了测试表)。
值得一提的是,它的最终目标是能够通过sparksql查询存储在hdfs中的数据。我是否需要hiveserver2来完成此任务?抱歉,我对这项技术很陌生。
以下是my hive-site.xml:

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:postgresql://w7/metastore</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.postgresql.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hiveuser</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
  </property>
  <property>
    <name>datanucleus.autoCreateSchema</name>
    <value>false</value>
  </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://w7:9083</value>
    <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
  </property>
  <property>
   <name>hive.metastore.schema.verification</name>
   <value>true</value>
  </property>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
  <property>
    <name>hive.warehouse.subdir.inherit.perms</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.zookeeper.quorum</name>
    <value>mn</value>
  </property>
  <property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>mn</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hive.zookeeper.namespace</name>
    <value>hive_zookeeper_namespace_hive</value>
  </property>
  <property>
    <name>hive.cluster.delegation.token.store.class</name>
    <value>org.apache.hadoop.hive.thrift.MemoryTokenStore</value>
  </property>
  <property>
    <name>hive.server2.enable.doAs</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.server2.use.SSL</name>
    <value>false</value>
  </property>
  <property>
    <name>hive.support.concurrency</name>
    <description>Enable Hive's Table Lock Manager Service</description>
    <value>true</value>
  </property>
</configuration>

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题