pytorch Huggingface -培训师脚本中的推理代码

gudnpqoy  于 2023-06-06  发布在  其他
关注(0)|答案(1)|浏览(186)

我想使用Huggingface Trainer训练一个用于令牌分类的模型,并将其部署为AWS Sagemaker端点。我遵循了this链接,我能够使用Huggingface估计器训练和部署模型。下面是我的代码--

# create the Estimator
huggingface_estimator = HuggingFace(
    entry_point='train.py',
    source_dir='./code', 
    ...)

# train the model
huggingface_estimator.fit()

# create the endpoint prediction
predictor = huggingface_estimator.deploy(...)

# evaluate the model
predictor.predict(#data#)

如何传递预测输入(* 在本例中为数据 *)。另外,predict方法()期望的输入数据结构是什么?有人能告诉我在www.example.com文件中添加推理代码的文档吗train.py?我正在使用的模型需要一个 * 图像,单词,边界框 *。

qnakjoqk

qnakjoqk1#

对于图像,您可以将数据作为字节传递,并且必须编写一个自定义的inference.py文件,该文件重载model_fn和predict_fn以处理模型加载和预测逻辑。请参考以下示例https://github.com/huggingface/notebooks/blob/main/sagemaker/17_custom_inference_script/code/inference.py

相关问题