你好，大家好。
首先，我对训练和微调LLMs非常陌生，所以我的问题可能很简单(也可能不简单)。请原谅我对于这方面的无知。
系统：
Windows 11
Python 3.10
Ludwig 0.10
我在本地创建了一个虚拟环境，然后使用pip安装了ludwig。我的properties.yaml文件似乎没有问题，因为模型可以正常加载。
我尝试在本地从HF下载的模型上调用model.generate(),只是看看它是否能生成某种输出。但我只得到了这个错误：

PyTorch version 2.2.1 available.
C:\Users\Name\OneDrive\Dokumente\Python\Tetera\Tetera\.venv\lib\site-packages\bitsandbytes\cextension.py:34: UserWarning: The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable.
  warn("The installed version of bitsandbytes was compiled without GPU support. "

'NoneType' object has no attribute 'cadam32bit_grad_fp32'
Setting generation max_new_tokens to 16384 to correspond with the max sequence length assigned to the output feature or the global max sequence length. This will ensure that the correct number of tokens are generated at inference time. To override this behavior, set `generation.max_new_tokens` to a different value in your Ludwig config.

Traceback (most recent call last):
  File "C:\Users\fabio\OneDrive\Dokumente\Python\Tetera\Tetera\app.py", line 7, in <module>
    print(model.generate("Hello World"))
  File "C:\Users\fabio\OneDrive\Dokumente\Python\Tetera\Tetera\.venv\lib\site-packages\ludwig\api.py", line 990, in generate
    raise ValueError("GPU is not available.")
ValueError: GPU is not available.

我有位数和字节的问题吗？还是说是torch的问题？
torch.cuda.is_available() 也返回false。
或者我需要创建一个Anaconda3环境吗？我在那个环境中测试过，通过conda install安装了pytorch,然后torch.cuda.is_available()返回true。但是Ludwig似乎在这个环境中无法正常工作(?)
非常感谢任何帮助。我的目标是至少让这个东西运行起来。