sentencepiece 我们能否通过并行计算、多线程或多进程进行训练？

q5iwbnjs 于 5个月前发布在其他

关注(0)|答案(6)|浏览(121)

我们能否通过并行计算、多线程或多进程来加速训练？
感谢您的帮助。

来源：https://github.com/google/sentencepiece/issues/366

6条答案

按热度按时间

是的，我们可以！例如，看看 YouTokenToMe 。这个BPE实现非常有效地利用了并行处理。

赞(0）回复(0）举报 5个月前

谢谢。我会看一下的。实际上，目前的BPE算法在寻找最频繁的对时有点保守。

赞(0）回复(0）举报 5个月前

将在下一个版本中进行工作。

赞(0）回复(0）举报 5个月前

我非常期待并行训练，
因为在多核计算机上运行亚洲语言语料库非常慢，让我感觉像是在浪费我的CPU...

赞(0）回复(0）举报 6个月前

将在下一个版本中对此进行处理。
Hi @taku910 - 我想知道这个功能是否已经发布。谢谢

赞(0）回复(0）举报 6个月前

只是跟着走：是否可以使用多线程分词进行多CPU训练？

赞(0）回复(0）举报 6个月前

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 4个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 4个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 4个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 4个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 4个月前