我想使用Huggingface Trainer训练一个用于令牌分类的模型,并将其部署为AWS Sagemaker端点。我遵循了this链接,我能够使用Huggingface估计器训练和部署模型。下面是我的代码--
# create the Estimator
huggingface_estimator = HuggingFace(
entry_point='train.py',
source_dir='./code',
...)
# train the model
huggingface_estimator.fit()
# create the endpoint prediction
predictor = huggingface_estimator.deploy(...)
# evaluate the model
predictor.predict(#data#)
如何传递预测输入(* 在本例中为数据 *)。另外,predict方法()期望的输入数据结构是什么?有人能告诉我在www.example.com文件中添加推理代码的文档吗train.py?我正在使用的模型需要一个 * 图像,单词,边界框 *。
1条答案
按热度按时间qnakjoqk1#
对于图像,您可以将数据作为字节传递,并且必须编写一个自定义的inference.py文件,该文件重载model_fn和predict_fn以处理模型加载和预测逻辑。请参考以下示例https://github.com/huggingface/notebooks/blob/main/sagemaker/17_custom_inference_script/code/inference.py