这不是最近的回归，也许正因为这个原因它不会被修复，但我想我还是会提交这个问题。
我维护这个库的Go绑定，幸运的是我在开始时就有了基准测试。在某个时刻，我注意到解码过程中有一个regression,但直到现在才开始调查它。长话短说，我已经在这个仓库中进行了二分查找并找到了根本原因。以下是用于找到它的基准测试。
回归详情：

decode                  time:   [3.9277 µs 3.9409 µs 3.9558 µs]
                        change: [+241.37% +242.64% +244.06%] (p = 0.00 < 0.05)
                        Performance has regressed.

虽然解码速度很快(微秒级别),但+240%的减速幅度相当大，我想知道我们是否能恢复这种性能。
基准测试代码( tokenizers/benches/decode_benchmark.rs ):

use criterion::{black_box, criterion_group, criterion_main, Criterion};
use tokenizers::tokenizer::Tokenizer;

fn decode(tokenizer:&Tokenizer, ids_slice: Vec<u32>, skip_special_tokens: bool) -> String {
    tokenizer.decode(ids_slice, skip_special_tokens).expect("failed to decode input")
}

fn criterion_benchmark(c: &mut Criterion) {
    let tokenizer = Tokenizer::from_file("./test/data/bert-base-uncased.json").expect("failed to create tokenizer");
    c.bench_function("decode", 
    |b| b.iter(
        || decode(&tokenizer, black_box([2829, 4419, 14523, 2058, 1996, 13971, 3899].to_vec()), black_box(true))));
}

criterion_group!(benches, criterion_benchmark);
criterion_main!(benches);

将此添加到Cargo.toml并使用cargo bench decode运行。

[[bench]]
name = "decode_benchmark"
harness = false

令牌化文件从here复制而来。