我想使用Azure并行运行步骤对 Dataframe 执行预测。加载模型有两种方法,一种是在ParallelRunConfig脚本中下载模型并将其传递给子节点,另一种是在子节点上下载模型。
我可以使用ParallelRunConfig
中的environment_variables
参数将所需的对象传递给子节点,但它不支持传递.pkl文件。
使用第二种方法,即直接在子节点上下载模型是相当昂贵的,并且重复地多次下载相同的模型。
如何将ParllelRunConfig Python文件中下载的pkl文件传递给子节点?
1条答案
按热度按时间biswetbf1#
要执行此任务,您可以执行以下步骤:
1.在workspace中注册pickle模型。
的数据
1.使用
entry script
中的init()
函数加载模型。的
1.在
run(mini_batch)
函数中使用它进行处理。的
有了这个,我就可以用
ParallelRunConfig
和pickle model
执行作业了。的
请参考sample notebook,其中提供了使用pickle模型与ParallelRunConfig的详细步骤。
更新:
下面是ParallelRunConfig代码片段
字符串
详细信息:
以下是工作区中已注册模型的列表。
使用模型
的预测执行此作业