mirror of
https://github.com/QwenLM/Qwen.git
synced 2026-05-20 16:35:47 +08:00
update readme
This commit is contained in:
@@ -381,11 +381,9 @@ sh finetune/finetune_lora_single_gpu.sh
|
||||
sh finetune/finetune_lora_ds.sh
|
||||
```
|
||||
|
||||
与全参数微调不同,LoRA ([论文](https://arxiv.org/abs/2106.09685)) 只更新adapter层的参数而无需更新原有语言模型的参数。这种方法允许用户用更低的显存开销来训练模型,也意味着更小的计算开销。然而,如果你依然遇到显存不足的问题,可以考虑使用Q-LoRA ([论文](https://arxiv.org/abs/2305.14314))。该方法使用4比特量化模型以及paged attention等技术实现更小的显存开销。运行Q-LoRA你只需运行如下脚本:
|
||||
与全参数微调不同,LoRA ([论文](https://arxiv.org/abs/2106.09685)) 只更新adapter层的参数而无需更新原有语言模型的参数。这种方法允许用户用更低的显存开销来训练模型,也意味着更小的计算开销。然而,如果你依然遇到显存不足的问题,可以考虑使用Q-LoRA ([论文](https://arxiv.org/abs/2305.14314))。该方法使用4比特量化模型以及paged attention等技术实现更小的显存开销。运行Q-LoRA你只需运行如下脚本(目前QLoRA在单卡训练时混合精度暂时还存在一些问题,我们会尽快完成修复和更新):
|
||||
|
||||
```bash
|
||||
# 单卡训练
|
||||
sh finetune/finetune_qlora_single_gpu.sh
|
||||
# 分布式训练
|
||||
sh finetune/finetune_qlora_ds.sh
|
||||
```
|
||||
|
||||
Reference in New Issue
Block a user