对于 csdc-atl/Baichuan2-7B-Chat-GPTQ-Int4 的问题。
--tensor-parallel-size=2 可以正常工作，但是 --tensor-parallel-size=4 会引发相同的 ValueError。

引擎参数

INFO 01-12 13:00:00 llm_engine.py:70] Initializing an LLM engine with config: model='csdc-atl/Baichuan2-7B-Chat-GPTQ-Int4', tokenizer='csdc-atl/Baichuan2-7B-Chat-GPTQ-Int4', tokenizer_mode=auto, revision=3903d0d0b05d4adc0dd340fdf86d9a3d787ed54d, tokenizer_revision=None, trust_remote_code=True, dtype=torch.float16, max_seq_len=4096, download_dir=None, load_format=auto, tensor_parallel_size=4, quantization=gptq, enforce_eager=False, seed=0)

错误

Traceback (most recent call last):
  File "src/vllm_demo.py", line 83, in <module>
    engine = AsyncLLMEngine.from_engine_args(engine_args)
  File "env/lib/python3.10/site-packages/vllm/engine/async_llm_engine.py", line 500, in from_engine_args
    engine = cls(parallel_config.worker_use_ray,
  File "env/lib/python3.10/site-packages/vllm/engine/async_llm_engine.py", line 273, in __init__
    self.engine = self._init_engine(*args, **kwargs)
  File "env/lib/python3.10/site-packages/vllm/engine/async_llm_engine.py", line 318, in _init_engine
    return engine_class(*args, **kwargs)
  File "env/lib/python3.10/site-packages/vllm/engine/llm_engine.py", line 109, in __init__
    self._init_workers_ray(placement_group)
  File "env/lib/python3.10/site-packages/vllm/engine/llm_engine.py", line 249, in _init_workers_ray
    self._run_workers(
  File "env/lib/python3.10/site-packages/vllm/engine/llm_engine.py", line 795, in _run_workers
    driver_worker_output = getattr(self.driver_worker,
  File "env/lib/python3.10/site-packages/vllm/worker/worker.py", line 81, in load_model
    self.model_runner.load_model()
  File "env/lib/python3.10/site-packages/vllm/worker/model_runner.py", line 64, in load_model
    self.model = get_model(self.model_config)
  File "env/lib/python3.10/site-packages/vllm/model_executor/model_loader.py", line 65, in get_model
    model = model_class(model_config.hf_config, linear_method)
  File "env/lib/python3.10/site-packages/vllm/model_executor/models/baichuan.py", line 375, in __init__
    super().__init__(config, "ROPE", linear_method)
  File "env/lib/python3.10/site-packages/vllm/model_executor/models/baichuan.py", line 297, in __init__
    self.model = BaiChuanModel(config, position_embedding, linear_method)
  File "env/lib/python3.10/site-packages/vllm/model_executor/models/baichuan.py", line 260, in __init__
    self.layers = nn.ModuleList([
  File "env/lib/python3.10/site-packages/vllm/model_executor/models/baichuan.py", line 261, in <listcomp>
    BaiChuanDecoderLayer(config, position_embedding, linear_method)
  File "env/lib/python3.10/site-packages/vllm/model_executor/models/baichuan.py", line 205, in __init__
    self.mlp = BaiChuanMLP(
  File "env/lib/python3.10/site-packages/vllm/model_executor/models/baichuan.py", line 89, in __init__
    self.down_proj = RowParallelLinear(intermediate_size,
  File "env/lib/python3.10/site-packages/vllm/model_executor/layers/linear.py", line 495, in __init__
    self.linear_weights = self.linear_method.create_weights(
  File "env/lib/python3.10/site-packages/vllm/model_executor/layers/quantization/gptq.py", line 102, in create_weights
    raise ValueError(
ValueError: The input size is not aligned with the quantized weight shape. This can be caused by too large tensor parallel size.

input_size_per_partition 是 2752,而 self.quant_config.group_size 是 128,这导致了在条件 GPTQLinearMethod.create_weights 不满足时引发错误。

quantization=awq, 是什么样子的？

with autoawq==0.1.8

quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

使用TP(或tensor_parallel_size) =2表示vllm将模型分布到2个GPU上。
错误发生在这个量化文件(AWQ和GPTQ有类似的检查):
vllm/vllm/model_executor/layers/quantization/gptq.py
第99行到第108行：
| | ifinput_size_per_partition%self.quant_config.group_size!=0: |
| | raiseValueError( |
| | "The input size is not aligned with the quantized " |
| | "weight shape. This can be caused by too large " |
| | "tensor parallel size.") |
| | ifoutput_size_per_partition%self.quant_config.pack_factor.numerator!=0: |
| | raiseValueError( |
| | "The output size is not aligned with the quantized " |
| | "weight shape. This can be caused by too large " |
| | "tensor parallel size.") |

1. 在检查config.json的Qwen模型后，您可以找到不同规模的各种intermediate_size。对于Qwen-7B,它是11008,Qwen-14B是13696。
2. 此外，在这个文件中，group_size的quantization_config是128(几乎所有量化模型都是如此)。因此，您可以获得每个模型可用的分布式组数：

• Qwen-7B是$12886 = 128 * (12*43)$ # 您可以在1、2或43个GPU上并行运行
• Qwen-14B是$128107=128(1*107)$ # 不能在2个GPU上运行

1. 结果，触发了input_size_per_partition % self.quant_config.group_size != 0,并引发了此错误。
   P.S. 到目前为止，我还没有找到任何解决方案来实现vllm中的中间维度不平衡分布。或者您可以使用简单的HF多GPU加载方法进行测试。

使用TP(或tensor_parallel_size) =2表示vllm将模型分布到2个GPU上。错误发生在这个量化文件(AWQ和GPTQ有类似的检查):
vllm/vllm/model_executor/layers/quantization/gptq.py
第99行到第108行：
| | ifinput_size_per_partition%self.quant_config.group_size!=0: |
| | raiseValueError( |
| | "The input size is not aligned with the quantized " |
| | "weight shape. This can be caused by too large " |
| | "tensor parallel size.") |
| | ifoutput_size_per_partition%self.quant_config.pack_factor.numerator!=0: |
| | raiseValueError( |
| | "The output size is not aligned with the quantized " |
| | "weight shape. This can be caused by too large " |
| | "tensor parallel size.") |

1. 在检查config.json的Qwen模型后，您可以找到不同规模的各种intermediate_size。对于Qwen-7B,它是11008,Qwen-14B是13696。
2. 此外，在这个文件中，group_size的quantization_config是128(几乎所有量化模型都是如此)。因此，您可以获得每个模型的可用分布式组数：

• Qwen-7B是128∗86=128∗(1∗2∗43) # 您可以在1、2或43个GPU上并行运行
• Qwen-14B是128∗107=128∗(1∗107) # 不能在2个GPU上运行

1. 结果，触发了input_size_per_partition % self.quant_config.group_size != 0,并引发了此错误。
   P.S. 到目前为止，我还没有找到任何解决方案来实现vllm中的中间维度不平衡分布。或者您可以使用简单的HF多GPU加载方法进行测试。
   107是一个质数，这是否意味着Qwen-14B只能加载到1个GPU或107个GPU上，而不能支持其他GPU数量？

我刚才也遇到了这个问题，但是不知道怎么解决它。

对于qwen 72b,哪个group_size适用于vllm awq?谢谢。

使用TP(或tensor_parallel_size) =2表示vllm将模型分布到2个GPU上。错误发生在这个量化文件(AWQ和GPTQ有类似的检查):
vllm/vllm/model_executor/layers/quantization/gptq.py
第99行到第108行：
| | ifinput_size_per_partition%self.quant_config.group_size!=0: |
| | raiseValueError( |
| | "The input size is not aligned with the quantized " |
| | "weight shape. This can be caused by too large " |
| | "tensor parallel size.") |
| | ifoutput_size_per_partition%self.quant_config.pack_factor.numerator!=0: |
| | raiseValueError( |
| | "The output size is not aligned with the quantized " |
| | "weight shape. This can be caused by too large " |
| | "tensor parallel size.") |

1. 在检查config.json的Qwen模型后，您可以找到不同规模的各种intermediate_size。对于Qwen-7B,它是11008,Qwen-14B是13696。
2. 此外，在这个文件中，group_size的quantization_config是128(几乎所有量化模型都是如此)。因此，您可以获得每个模型的可用分布式组数：

• Qwen-7B是128∗86=128∗(1∗2∗43) # 您可以在1、2或43个GPU上并行运行
• Qwen-14B是128∗107=128∗(1∗107) # 不能在2个GPU上运行

1. 结果，触发了input_size_per_partition % self.quant_config.group_size != 0,并引发了此错误。
   P.S. 到目前为止，我还没有找到任何解决方案来实现vllm中的中间维度不平衡分布。或者您可以使用简单的HF多GPU加载方法进行测试。
   实际上，只需要满足条件input_size_per_partition % self.quant_config.group_size != 0和output_size_per_partition % self.quant_config.pack_factor.numerator != 0即可。
   因此，您可以尝试在量化过程中将group_size设置为64。然而，较小的group_size意味着需要更多的量化级别和存储空间，这可能会增加计算和存储负担。