发生了什么?
win11,nvidia gpu
使用llama.cpp和cuda 12
用llama-finetune --model-base ...\Aura-Uncensored-OAS-8B-L3.Q5_K_M.gguf --train-data ".......\phpgood practices_cleaned.txt" --threads 30 --save-every 5 --epochs 5 --adam-iter 128 --warmup 10 -c 128 --checkpoint-out test_lora_k_m-ITERATION.gguf --grad-acc 2
运行了微调
尝试使用不同的模型,但结果相同。
名称和版本
版本:3400(97bdd26)
使用MSVC 19.29.30154.0为x64构建
您在哪个操作系统上看到问题?
- 无响应*
相关日志输出
tokenize_file: total number of samples: 676
main: number of training tokens: 804
main: number of unique tokens: 377
main: train data seems to have changed. restarting shuffled epoch.
main: begin training
main: work_size = 15392728 bytes (14.7 MB)
train_opt_callback: iter= 0 sample=1/676 sched=0.000000 loss=0.000000 |->
GGML_ASSERT: D:\a\llama.cpp\llama.cpp\ggml\src\ggml.c:12621: ne2 == ne02
1条答案
按热度按时间fivyi3re1#
对我来说也是如此。