执行finetune.sh日志如下图:
![](//img.saoniuhuo.com/images/202407/75791722000724280.jpg)
执行脚本参数
python -u finetune.py
--dataset_path "/data/program/data/dataset6/jsonl/dataset_title_train_and_valid"
--lora_rank 8
--per_device_train_batch_size 16
--per_device_eval_batch_size 16
--gradient_accumulation_steps 1
--num_train_epochs 1
--save_steps 100
--save_total_limit 5
--learning_rate 1e-6
--fp16
--remove_unused_columns false
--logging_steps 10
--eval_steps 100
--load_best_model_at_end true
--evaluation_strategy "steps"
--output_dir "/data/program/data/dataset6/model" > train.log 2>&1
然后运行infer 通过测试数据做了对比。
通过这些指标看效果不好,是参数样本数据少还是样本数据有问题?
1条答案
按热度按时间uyto3xhc1#
楼主,我也遇到了这个问题,准确率也只有百分之30多。请问你是如何解决的呢?