描述错误

Hotflip 类中的第一个"bug"

def __init__(self, ...):
        ...
        self.invalid_replacement_indices: List[int] = []
        for i in self.vocab._index_to_token[self.namespace]:
            if not self.vocab._index_to_token[self.namespace][i].isalnum():
                self.invalid_replacement_indices.append(i)

isalnum() 可能不是找到 invalid_replacement_indices 的最佳方法，因为在许多情况下，tokens 包含 _ 符号(例如在 BPE 编码中)
第二个错误与使用带有 start_tokens 和 end_tokens 的 token indexers 有关。在我的情况下，我使用以下数据集阅读器：

"dataset_reader": {
    "type": "text_classification_json",
    "token_indexers": 
      "tokens": {
        "type": "single_id",
        "start_tokens": ["<START>"],
        "end_tokens": ["<END>"],
        "token_min_padding_length": 5
     },
    "tokenizer": {
      "type": "just_spaces"
    }
}

在这种情况下，grad 和 text_field.tokens 将具有不同的形状，这将导致 text_field.tokens[index_of_token_to_flip] = new_token 在 index_of_token_to_flip >= len(text_field.tokens) 时失败。

def attack_from_json(self, ...):
    ...
    for instance in original_instances:
        text_field = instance[input_field_to_attack]
        ...
        grad = grads[grad_input_field][0]
        ...
        while True: 
            text_field.tokens[index_of_token_to_flip] = new_token

第三个错误与使用 token_min_padding_length > 0 参数有关。它也会导致如上所示的形状不匹配。

重现

要重现上述错误，请使用我提供的 dataset_reader 训练任何分类器，并尝试使用 HotFlip.attack_from_json() 方法。