如何在mysql中使用hivemetastore(对于thrift服务器或sparkshell)？

hts6caw3 于 2021-06-26 发布在 Hive

关注(0)|答案(4)|浏览(391)

我使用的是ApacheSpark2.1.1，我想用一个外部的HiveMetaStore（专门针对SparkThrift服务器）来设置它。
我补充说 hive-site.xml 至 $SPARK_HOME/conf 文件夹，如下所示：

<?xml version="1.0"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://home.cu:3306/hive_metastore?createDatabaseIfNotExist=true&amp;useLegacyDatetimeCode=false&amp;serverTimezone=Europe/Berlin&amp;nullNamePatternMatchesAll=true </value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    <description>password to use against metastore database</description>
  </property>

  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>hdfs://spark-master.cu:9000/value_iq/hive_warehouse/</value>
    <description>Warehouse Location</description>
  </property>
</configuration>

每当我想跑的时候 spark-shell 或者spark thrift server他们试图在mysql上创建配置单元元存储（因为还没有元存储），但失败了，出现以下错误：

17/07/13 19:57:55 ERROR Datastore: Error thrown executing ALTER TABLE `PARTITIONS` ADD COLUMN `TBL_ID` BIGINT NULL : Table 'hive_metastore.partitions' doesn't exist
java.sql.SQLSyntaxErrorException: Table 'hive_metastore.partitions' doesn't exist
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:536)
        at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:513)
        at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:115)
        at com.mysql.cj.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:1983)
        at com.mysql.cj.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:1936)
        at com.mysql.cj.jdbc.StatementImpl.executeInternal(StatementImpl.java:891)
        at com.mysql.cj.jdbc.StatementImpl.execute(StatementImpl.java:795)
        at com.jolbox.bonecp.StatementHandle.execute(StatementHandle.java:254)
        at org.datanucleus.store.rdbms.table.AbstractTable.executeDdlStatement(AbstractTable.java:760)
        at org.datanucleus.store.rdbms.table.AbstractTable.executeDdlStatementList(AbstractTable.java:711)
        at org.datanucleus.store.rdbms.table.TableImpl.validateColumns(TableImpl.java:259)
        at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.performTablesValidation(RDBMSStoreManager.java:3393)
        at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.addClassTablesAndValidate(RDBMSStoreManager.java:3190)
        at org.datanucleus.store.rdbms.RDBMSStoreManager$ClassAdder.run(RDBMSStoreManager.java:2841)
        at org.datanucleus.store.rdbms.AbstractSchemaTransaction.execute(AbstractSchemaTransaction.java:122)
        at org.datanucleus.store.rdbms.RDBMSStoreManager.addClasses(RDBMSStoreManager.java:1605)
        at org.datanucleus.store.AbstractStoreManager.addClass(AbstractStoreManager.java:954)
        at org.datanucleus.store.rdbms.RDBMSStoreManager.getDatastoreClass(RDBMSStoreManager.java:679)
        at org.datanucleus.store.rdbms.query.RDBMSQueryUtils.getStatementForCandidates(RDBMSQueryUtils.java:408)
        at org.datanucleus.store.rdbms.query.JDOQLQuery.compileQueryFull(JDOQLQuery.java:947)
        at org.datanucleus.store.rdbms.query.JDOQLQuery.compileInternal(JDOQLQuery.java:370)
        at org.datanucleus.store.query.Query.executeQuery(Query.java:1744)
        at org.datanucleus.store.query.Query.executeWithArray(Query.java:1672)
        at org.datanucleus.store.query.Query.execute(Query.java:1654)
        at org.datanucleus.api.jdo.JDOQuery.execute(JDOQuery.java:221)

Hive apache-spark apache-spark-sql spark-thriftserver

来源：https://stackoverflow.com/questions/45098841/how-to-use-hive-metastore-with-mysql-for-thrift-server-or-spark-shell

4条答案

按热度按时间

txu3uszq1#

我尝试过使用不同版本的spark将元数据管理从derby迁移到mysql/postgres，并且在spark-2.2.1以后的版本中取得了成功。以前的版本不允许我迁移到其他数据库。这纯粹是版本依赖，他们与Spark。我的建议是尝试升级spark版本到2.2.1，你应该很好去！！

赞(0）回复(0）举报 2021-06-26

biswetbf2#

我认为您的warehouse dir属性配置不正确，它应该是hdfs上的路径

<configuration>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://maprdemo:9083</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>

赞(0）回复(0）举报 2021-06-26

h5qlskok3#

对于所有尝试将hive metastore与mysql驱动程序8.x一起使用并降级到5.x的用户，可以：
另一种解决方案是使用mysql选项配置url：

connectionURL: "jdbc:mysql://localhost:3306/hive_db?databaseTerm=SCHEMA&nullDatabaseMeansCurrent=true"

摘自mysql connector 8发行说明
新的连接属性databaseterm设置应用程序中使用这两个术语中的哪一个来引用数据库。属性接受两个值catalog或schema中的一个，并使用它确定哪些连接方法可用于设置/获取当前数据库，哪些参数可在各种databasemetadata方法中用于筛选结果，以及databasemetadata方法返回的结果集中的哪些字段包含数据库标识信息。有关详细信息，请参阅配置属性中的databaseterm条目。此外，连接属性nullcatalogmeanscurrent已重命名为nulldatabasemeanscurrent。旧名称仍然是连接属性的别名。感谢harald aamot对补丁的贡献(臭虫11891000，臭虫27356869，臭虫89133）
对于感兴趣的人：我们看到的问题是，hive试图解析mysql中的所有模式，但它没有这样做的权限。将其限制为当前数据库（在url中指定hive\u db）为我们解决了这个问题

赞(0）回复(0）举报 2021-06-26

6tr1vspr4#

我发现了这个问题，它与mysql驱动程序有关，我正在使用 mysql-connector-java-6.0.6-bin.jar 我把它换成了旧的 mysql-connector-java-5.1.23-bin.jar 现在它起作用了。

赞(0）回复(0）举报 2021-06-26