使用预览图像创建dataproc集群时，未能启动cloud sql metastore

tnkciper 于 2021-06-26 发布在 Hive

关注(0)|答案(1)|浏览(318)

我正在使用spark对一些数据进行计算，然后推到Hive。CloudDataProc版本是1.2，包含Hive2.1。配置单元中的merge命令仅在版本2.2以后才受支持。所以我必须为dataproc集群使用预览版本。当我为dataproc cluster使用1.2版时，我可以毫无问题地创建集群。我在使用预览版本时遇到了这个错误“无法打开云sql元存储”。初始化脚本在这里。以前有人遇到过这个问题吗？

hive-metastore.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install is-enabled hive-metastore
mysql.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install disable mysql
insserv: warning: current start runlevel(s) (empty) of script `mysql` overrides LSB defaults (2 3 4 5).
insserv: warning: current stop runlevel(s) (0 1 2 3 4 5 6) of script `mysql' overrides LSB defaults (0 1 6).
Created symlink /etc/systemd/system/multi-user.target.wants/cloud-sql-proxy.service → /usr/lib/systemd/system/cloud-sql-proxy.service.
Cloud SQL Proxy installation succeeded
hive-metastore.service is not a native service, redirecting to systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install is-enabled hive-metastore
[2018-06-06T12:43:55+0000]: Failed to bring up Cloud SQL Metastore

Hive apache-spark google-cloud-platform google-cloud-dataproc

来源：https://stackoverflow.com/questions/50723879/failed-to-bring-up-cloud-sql-metastore-when-create-dataproc-cluster-using-previe

1条答案

按热度按时间

dw1jzc5e1#

我认为问题可能是您的元存储是从旧版本的dataproc初始化的，因此具有过时的模式。
如果您有失败的群集（如果没有，请像以前一样创建一个新群集，您可以使用 --single-node 选项以降低成本），然后ssh到主节点并升级架构：

$ gcloud compute ssh my-cluster-m

$ /usr/lib/hive/bin/schematool -dbType mysql -info
Hive distribution version:       2.3.0
Metastore schema version:        2.1.0    <-- you will need this

org.apache.hadoop.hive.metastore.HiveMetaException: Metastore schema version is
not compatible. Hive Version: 2.3.0, Database Schema Version: 2.1.0

***schemaTool failed***

$ /usr/lib/hive/bin/schematool -dbType mysql -upgradeSchemaFrom 2.1.0

很遗憾，此群集无法返回到运行状态，请删除并重新创建它。
我创建此pr是为了让问题更容易发现：https://github.com/googlecloudplatform/dataproc-initialization-actions/pull/278

赞(0）回复(0）举报 2021-06-26

我来回答

使用预览图像创建dataproc集群时，未能启动cloud sql metastore

1条答案

相关问题

热门标签

最新问答