我们能否通过并行计算、多线程或多进程来加速训练？感谢您的帮助。
slwdgvem1#
是的，我们可以！例如，看看 YouTokenToMe 。这个BPE实现非常有效地利用了并行处理。
idv4meu82#
谢谢。我会看一下的。实际上，目前的BPE算法在寻找最频繁的对时有点保守。
ijnw1ujt3#
将在下一个版本中进行工作。
busg9geu4#
我非常期待并行训练，因为在多核计算机上运行亚洲语言语料库非常慢，让我感觉像是在浪费我的CPU...
4ioopgfo5#
将在下一个版本中对此进行处理。Hi @taku910 - 我想知道这个功能是否已经发布。谢谢
n3ipq98p6#
只是跟着走：是否可以使用多线程分词进行多CPU训练？
6条答案
按热度按时间slwdgvem1#
是的，我们可以！例如，看看 YouTokenToMe 。这个BPE实现非常有效地利用了并行处理。
idv4meu82#
谢谢。我会看一下的。实际上，目前的BPE算法在寻找最频繁的对时有点保守。
ijnw1ujt3#
将在下一个版本中进行工作。
busg9geu4#
我非常期待并行训练，
因为在多核计算机上运行亚洲语言语料库非常慢，让我感觉像是在浪费我的CPU...
4ioopgfo5#
将在下一个版本中对此进行处理。
Hi @taku910 - 我想知道这个功能是否已经发布。谢谢
n3ipq98p6#
只是跟着走：是否可以使用多线程分词进行多CPU训练？