unilm 如何预测图像在关系提取任务中？

r55awzrz 于 2个月前发布在其他

关注(0)|答案(5)|浏览(28)

描述

我正在使用的模型是LayoutXLM:
在从layoutxlm-base微调后，按照以下代码：

python -m torch.distributed.launch examples/run_xfun_re.py \
        --model_name_or_path layoutxlm-base \
        --output_dir ./re/train_1 \
        --do_train \
        --do_eval \
        --lang zh \
        --max_steps 1000 \
        --warmup_ratio 0.1 \
        --fp16

我得到了一个新的用于关系提取任务的模型。但是我不知道如何使用这个模型进行预测？
如果我有一张新的图片和OCR结果，如何根据给定的信息预测关系？
我在源代码中找不到指导方针，有人能提供一个测试代码吗？
这段代码对于新手来说不太友好。

unilm

来源：https://github.com/microsoft/unilm/issues/429

5条答案

按热度按时间

iyfjxgzm1#

此外，在run_xfun_re.py中没有预测代码，如果我从run_xfun_ser.py中复制相同的预测代码，它将无法正常工作。预测代码如下：

# Predict
    if training_args.do_predict:
        logger.info("*** Predict ***")
        predictions, labels, metrics = trainer.predict(test_dataset)
        predictions = np.argmax(predictions, axis=2)
        # Remove ignored index (special tokens)
        true_predictions = [
            [label_list[p] for (p, l) in zip(prediction, label) if l != -100]
            for prediction, label in zip(predictions, labels)
        ]
        trainer.log_metrics("test", metrics)
        trainer.save_metrics("test", metrics)
        # Save predictions
        output_test_predictions_file = os.path.join(training_args.output_dir, "test_predictions.txt")
        if trainer.is_world_process_zero():
            with open(output_test_predictions_file, "w") as writer:
                for prediction in true_predictions:
                    writer.write(" ".join(prediction) + "\n")

赞(0）回复(0）举报 1个月前

vngu2lb82#

@ranpox, 你能帮我解决这个问题吗？谢谢。

赞(0）回复(0）举报 1个月前

yh2wf1be3#

有任何更新吗？

赞(0）回复(0）举报 1个月前

iezvtpos4#

同样的问题，当我推断图像时，传递entities=None和relations=None会导致错误。

赞(0）回复(0）举报 1个月前

gr8qqesn5#

有任何更新吗？
看起来没有人维护这个项目...

赞(0）回复(0）举报 1个月前

我来回答

unilm 如何预测图像在关系提取任务中？

5条答案

相关问题

热门标签

最新问答