bert Scaling extract_features

ghhaqwfi  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(49)

我正在寻找一些关于如何高效扩展extract_features的建议。与训练不同,分布式预测方面的信息并不多——我想尝试以下一种或多种方法:

  1. 指定我正在使用的GPU设备,这样我就可以在多GPU机器上通过多个进程来解决它。我还不清楚如何通过估计器配置指定GPU设备。
  2. 更好地自动扩展估计器.predict(),以利用所有可用的GPU设备。
  3. 重用部分输入。例如,如果我正在对查询-段落对进行特征提取,那么在遍历段落时预加载输入Tensor的查询部分。

任何建议或提示都将非常感谢。如有需要,请随时将我引导至stackoverflow以回答这些问题。

r8xiu3jd

r8xiu3jd1#

也许您正在寻找 bert-as-servicehttps://github.com/hanxiao/bert-as-service/,它们是基于BERT的高度可扩展的特征提取服务。

qyyhg6bp

qyyhg6bp2#

谢谢,我会尝试这个。

相关问题