我正在寻找一些关于如何高效扩展extract_features
的建议。与训练不同,分布式预测方面的信息并不多——我想尝试以下一种或多种方法:
- 指定我正在使用的GPU设备,这样我就可以在多GPU机器上通过多个进程来解决它。我还不清楚如何通过估计器配置指定GPU设备。
- 更好地自动扩展估计器.predict(),以利用所有可用的GPU设备。
- 重用部分输入。例如,如果我正在对查询-段落对进行特征提取,那么在遍历段落时预加载输入Tensor的查询部分。
任何建议或提示都将非常感谢。如有需要,请随时将我引导至stackoverflow以回答这些问题。
2条答案
按热度按时间r8xiu3jd1#
也许您正在寻找
bert-as-service
和 https://github.com/hanxiao/bert-as-service/,它们是基于BERT的高度可扩展的特征提取服务。qyyhg6bp2#
谢谢,我会尝试这个。