您好，4张v100能否完成微调？该代码是否支持int4微调？
6gpjuf901#
纯GPU微调，4张V100肯定不够用，显存不足。如果在DeepSpeed中将任务卸载到CPU上，这是可行的。我使用这种方法在一台拥有48GB显存的机器上成功进行了fp32和fp16微调，大约需要额外的300GB内存。至于int4微调，我没有进行过试验。
9wbgstp72#
好问题，我也有这个疑问
2条答案
按热度按时间6gpjuf901#
纯GPU微调，4张V100肯定不够用，显存不足。如果在DeepSpeed中将任务卸载到CPU上，这是可行的。我使用这种方法在一台拥有48GB显存的机器上成功进行了fp32和fp16微调，大约需要额外的300GB内存。至于int4微调，我没有进行过试验。
9wbgstp72#
好问题，我也有这个疑问