我有一个arpa
文件,我通过以下命令创建:
./lmplz -o 4 -S 1G <tmp_100M.txt >100m.arpa
现在我想将这个arpa
文件转换为二进制文件:
./build_binary 100m.arpa 100m.bin
我得到了一个错误:
mmap.cc:225 in void util::HugeMalloc(std::size_t, bool, util::scoped_memory&) threw ErrnoException because `!to.get()'.
Cannot allocate memory Failed to allocate 106122412848 bytes Byte: 80
ERROR
我尝试添加-S
参数:
./build_binary -S 1G 100m.arpa 100m.bin
我得到了同样的错误。
1.如何转换为二进制文件?
1.为什么会出现此错误?
1条答案
按热度按时间xytpbqjk1#
查看https://aclanthology.org/W16-4618以获得一些简单的解释
试试这个:
MOSES_BIN_DIR
是存储已编译的二进制文件的目录。如果在使用trie和量化选项时仍然面临内存问题,则可能需要更改为CPU RAM足以读取语言模型并生成二进制文件的机器/示例。