python 使用Iguazio平台时如何进行本地开发?

k3fezbri  于 2023-03-16  发布在  Python
关注(0)|答案(1)|浏览(196)

我希望在远程集群上执行之前,能够在本地计算机上测试我的作业和代码。理想情况下,这不需要在我这端进行大量设置。这可能吗?

kkbh8khc

kkbh8khc1#

Iguazio平台的常见开发模式是在笔记本电脑/工作站上使用MLRun和Nuclio的本地版本,稍后在集群上移动/执行作业。
在本地环境中安装MLRun和Nuclio有两个主要选项:

  • docker-compose-更简单,更容易启动和运行,但仅限于在其执行环境(即Jupyter或IDE)中运行作业。这意味着您不能指定CPU/MEM/GPU等资源来运行特定作业。这种方法非常适合快速启动和运行。可以在here中找到说明。
  • Kubernetes-更复杂的启动和运行,但允许运行作业在自己的容器与指定的CPU/MEM/GPU资源。这种方法是一个更好的模拟能力的Iguazio平台在本地环境。指令可以找到here

使用上述选项之一安装MLRun和Nuclio并创建作业/函数后,您可以在本地对其进行测试,也可以直接从本地开发环境部署到Iguazio集群:

  • 要在本地运行作业,请在指定MLRun函数时使用local=True标志,如快速入门指南中所述。
  • 要远程运行作业,请指定所需的环境文件以允许连接到本指南中指定的Iguazio群集,然后使用local=False运行作业

相关问题