这是一个重复的问题，编号为#679。

感谢Jay的回复，然而，BERT-as-service只会编码句子。我查看了他们的文档并运行了它，但它没有任何预测。

我认为这将对你有所帮助。https://github.com/SunYanCN/BERT-chinese-text-classification-and-deployment
@JimAva

尽管这可能不是最有效的方法，但我发现将预测 Package 在一个Flask API中运行得相当好。它的工作原理如下：
首先在训练后导出你的模型：
estimator.export_saved_model(model_dir, serving_input_receiver_fn)
然后使用类似于以下代码在API中加载你的模型：

from tensorflow.contrib import predictor
predict_fn = predictor.from_saved_model(model_dir)
result = predict_fn(...)

现在你可以使用predict_fn来提供预测。如果你需要的话，我可以分享一个粗略的实现 :)

@sarnikowski 我实际上正在使用Flask来提供预测，但是它非常慢。您能与我分享一下代码吗？
谢谢！

对于对此感兴趣的其他人，我编写了一个粗略的实现并将其提供在此：https://github.com/sarnikowski/bert_in_a_flask

Maybe check this out if you are looking for serving BERT fine-tuned model.
BERT Serving and Inferencing from fine-tuned