dataproc集群创建失败，没有免费的google云积分

ar5n3qh5 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(530)

我正在使用谷歌云的免费信用卡。我遵循了dataproc教程，但是当我运行下面的命令时，关于存储容量我有一个错误。

gcloud beta dataproc clusters create ${CLUSTER_NAME} \
  --region=${REGION} \
  --zone=${ZONE} \
  --image-version=1.5 \
  --master-machine-type=n1-standard-4 \
  --worker-machine-type=n1-standard-4 \
  --bucket=${BUCKET_NAME} \
  --optional-components=ANACONDA,JUPYTER \
  --enable-component-gateway \
  --metadata 'PIP_PACKAGES=google-cloud-bigquery google-cloud-storage' \
  --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/python/pip-install.sh

你知道怎么解决这个问题吗？我变了 n1-standard-4 至 n1-standard-1 但我没能修好。然而，当我离开 --image-version=1.5 命令行得通。它会给程序的其他部分带来什么问题吗？
另外，当我单击jupyterlab链接时，我在web界面上看不到dataproc集群上可用内核中的python3图标。我只有python2，它一直在说与服务器的连接已经断了。
以下是jupyterlab错误的图片：

apache-spark jupyter-notebook google-cloud-platform google-cloud-dataproc

来源：https://stackoverflow.com/questions/63751838/dataproc-cluster-creation-fails-with-free-google-cloud-credits

1条答案

按热度按时间

fkvaft9z1#

您看到了一个关于存储容量的错误，因为在1.5映像版本中，dataproc为主节点和工作节点使用更大的1000 gib磁盘来提高性能。您可以使用 --master-boot-disk-size=100GB 以及 --worker-boot-disk-size=100GB 命令标志：

gcloud beta dataproc clusters create ${CLUSTER_NAME} \
  --region=${REGION} \
  --zone=${ZONE} \
  --image-version=1.5 \
  --master-machine-type=n1-standard-4 \
  --master-boot-disk-size=100GB \
  --worker-machine-type=n1-standard-4 \
  --worker-boot-disk-size=100GB \
  --bucket=${BUCKET_NAME} \
  --optional-components=ANACONDA,JUPYTER \
  --enable-component-gateway \
  --metadata 'PIP_PACKAGES=google-cloud-bigquery google-cloud-storage' \
  --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/python/pip-install.sh

当你移除 --image-version=1.5 flag这个命令使用了默认的1.3映像版本，默认情况下不支持python3，这就是为什么在jupyterlab中看不到python3内核的原因。

赞(0）回复(0）举报 2021-05-27

我来回答

dataproc集群创建失败，没有免费的google云积分

1条答案

相关问题

热门标签

最新问答