tensorflow 你可以在我的GCP VM上使用Jupyter Notebook在Google Cloud中运行TPU训练吗?

vnjpjtjt  于 2023-05-07  发布在  Go
关注(0)|答案(3)|浏览(201)

我正在从在colab中运行TPU切换到在Google Cloud中运行TPU。我习惯于在colab jupyter notebook中运行训练,但根据GCP TPU快速入门指南,我需要使用shell脚本,并将代码转换为脚本。
https://cloud.google.com/tpu/docs/quickstart
有办法打开我的GCP VM的Jupyter笔记本版本吗?

vaqhlq81

vaqhlq811#

是的,您可以在GCP VM上打开并运行Jupyter notebook。一定有其他方法可以做到这一点,但这是我遵循和为我工作-
第1阶段-确保已设置GCP项目,并在支持TPU的区域中设置VM示例。我使用us-central 1-f。
阶段2 -确保您的VM(计算引擎)、云TPU和云存储都已按照此处提供的说明进行设置和链接-https://cloud.google.com/tpu/docs/quickstart
阶段3 -对于虚拟机,您需要通过以下方式启用防火墙设置

  • 姓名:
  • 目标:网络中的所有示例
  • 源IP范围:0.0.0.0/0
  • 协议和端口:选择“指定的协议和端口”选项。
  • tcp:8888将其他配置保留为默认值。

阶段4 -您需要安装以下内容:

  • 水蟒
wget https://repo.continuum.io/archive/Anaconda3-4.2.0-Linux-x86_64.sh
bash Anaconda3-4.2.0-Linux-x86_64.sh
  • Tensorflow、Keras和您需要的任何其他库
source ~/.bashrc
pip install tensorflow
pip install keras

阶段5 -确保设置好Jupyter配置

$ jupyter notebook --generate-config
$ nano ~/.jupyter/jupyter_notebook_config.py # I use nano editor

将这四行放在配置文件的顶部并保存

c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8888

就是这样你只需要逃跑

$ jupyter notebook

然后点击浏览器http://your_external_IP:8888

vsikbqxv

vsikbqxv2#

如果您在GKE上使用JupyterHub的helm chart,那么您似乎也可以使用JupyterHub的配置文件。请确保为kubeSpawner设置正确的覆盖:

singleuser:
  profileList:
        scheduler_name: default-scheduler
        extra_annotations:
          tf-version.cloud-tpus.google.com: "pytorch-1.11"
        extra_resource_limits:
          cloud-tpus.google.com/v2: 8

它没有文档记录,但您需要使用“default-scheduler”,因为GKE需要它来生成TPU示例。
此处的附加文档:
https://cloud.google.com/tpu/docs/kubernetes-engine-setup#job-spec
https://jupyterhub-kubespawner.readthedocs.io/en/latest/spawner.html

cbjzeqam

cbjzeqam3#

您可以使用这些标志简单地连接到VM示例

gcloud compute tpus tpu-vm ssh vm-name --zone provided_zone -- -L 8080:localhost:8080

接下来用pip安装jupyter和一些必要的包

pip3 install jupyterlab

现在可以用Python运行Jupyter实验室了

python3 -m jupyterlab  --allow-root --port=8080

接下来,您可以在终端中看到jupyter链接,并将链接复制并粘贴到浏览器中。欲了解更多信息,请访问此link

相关问题