我正在使用Azure机器学习(Azure ML)来管理我的机器学习工作流,并且我想根据触发时间设置数据集调度。我使用的数据集与触发时间的格式不同。例如,我的数据集的格式为“path_on_datastore/2023/01/01/some_data.tsv”,而触发时间格式则不同。
我发现调度函数支持使用“${{creation_context.trigger_time}}”作为PipelineParameter,(链接:https://learn.microsoft.com/en-us/azure/machine-learning/how-to-schedule-pipeline-job?view=azureml-api-2&tabs= cliv 2 #expressions-supported-in-schedule),但它提供的格式与我的数据集格式不匹配。我尝试使用组件来实现这一点,但组件只支持输出数据集。是否有方法自定义格式或调整触发时间格式以匹配我的数据集格式?
1条答案
按热度按时间8cdiaqws1#
您可以在Azure Machine Learning中使用
PythonScriptStep
类来执行Python脚本,以获取基于触发器的格式化数据路径。**示例:**Python脚本文件(script.py
):使用该脚本,您可以创建一个管道:
然后,您可以计划管道:
要禁用或更新计划,请执行以下操作:
以上示例说明了如何使用datetime中的PythonScriptStep` class和当前时间作为触发时间。有关更多信息,请参阅this。注意:确保根据需要更改python脚本和数据存储路径。