Describe the bug
I am trying to finetune an already quantized model (GPTQ) using ludwig but have been running into the following error:
AttributeError: 'BitsAndBytesConfig' object has no attribute 'get_loading_attributes'
To Reproduce
Steps to reproduce the behavior:
import yaml
config_str = """
model_type: llm
base_model: TheBloke/Llama-2-13B-GPTQ
quantization:
bits: 4
adapter:
type: lora
generation:
temperature: 0.1
max_new_tokens: 256
prompt:
template: |
Instruction:
{instruction}
### Input:
{input}
### Response:
input_features:
- name: prompt
type: text
preprocessing:
max_sequence_length: 256
output_features:
- name: output
type: text
preprocessing:
max_sequence_length: 256
trainer:
type: finetune
learning_rate: 0.0001
batch_size: 2
gradient_accumulation_steps: 3
epochs: 15
learning_rate_scheduler:
warmup_fraction: 0.01
preprocessing:
global_max_sequence_length: 512
split_probabilities: [0.9,0.1, 0.0]
sample_ratio: 1
"""
config = yaml.safe_load(config_str)
import logging
from ludwig.api import LudwigModel
model = LudwigModel(config=config, logging_level=logging.INFO)
results = model.train(dataset=df)
Expected behavior
A clear and concise description of what you expected to happen.
Screenshots
If applicable, add screenshots to help explain your problem.
Environment (please complete the following information):
- OS: [e.g. iOS]
- Version [e.g. 22]
- Python version
- Ludwig version
Additional context
Add any other context about the problem here.
6条答案
按热度按时间noj0wjuj1#
你好,mani1491,感谢你指出这个问题。
请问你目前运行的Ludwig版本是什么?
如果你能告诉我你当前正在运行的
transformers
和bitsandbytes
包的版本,那就太好了。yhxst69z2#
你好,@arnavgarg1,这里是版本信息:
ludwig 0.8.4
transformers: 4.33.2
bitsandbytes: 0.40.2
请注意,我的基础模型本身是量化的。这可能是问题所在吗?
基础模型:TheBloke/Llama-2-13B-GPTQ
cyvaqqii3#
据我所知,我们目前还不支持微调GPTQ模型。这是可能的,但需要我们的一些努力才能实现。
xj3cbfub4#
感谢回复。如果目前不支持GPTQ模型,有没有办法在免费的谷歌Colab示例(15GB GPU)上微调llama-2 7B?即使是小数据集,笔记本的内存也不足。如果这不是预期的情况,我想了解是否遗漏了任何内容。
h43kikqp5#
感谢回复。如果目前不支持GPTQ模型,那么有没有办法在免费的谷歌Colab示例(15GB GPU)上微调llama-2 7B?即使是小数据集,笔记本的内存也不足。如果这不是预期的情况,我想了解是否遗漏了任何内容。
我按照这个说明进行了操作:https://ludwig.ai/latest/getting_started/llm_finetuning/,使用Colab并将运行时更改为T4 GPU,它可以正常工作。
p8h8hvxi6#
根据我所知,我们目前还不支持微调GPTQ模型。虽然这是可能的,但我们需要做一些工作来实现它。
你好,我想参与这个项目并为其做出贡献,你能提供一些指导吗?