starlight-apk/Qwen
1
0
Fork 0
mirror of https://github.com/QwenLM/Qwen.git synced 2026-05-21 00:45:48 +08:00
Code Issues Packages Projects Releases Wiki Activity

Merge pull request #350 from ArtificialZeng/main

Browse Source 
typo
This commit is contained in:
Junyang Lin
2023-09-27 11:06:28 +08:00
committed by GitHub
parent 04ee3ec9eb 5334ae94ac
commit 94826ab489
1 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
README_CN.md
View File

@@ -286,11 +286,11 @@ model = AutoModelForCausalLM.from_pretrained(
use_flash_attn=False
)
```
注意：当前该功能目前不支持与flash attn同时开启，如果你开了kv cache量化的同时又开了flash attn（use_flash_attn=True， use_cache_quantization=True, use_cache_kernel=True），会默认将use flash attn关闭。
注意：当前该功能目前不支持与flash attn同时开启，如果你开了kv cache量化的同时又开了flash attn（use_flash_attn=True， use_cache_quantization=True, use_cache_kernel=True），会默认将use_flash_attn关闭。
### 结果对比
#### 效果
我们验证过int8 kvcache的使用对模型整体的精度指标基本无损。
我们验证过int8 kv-cache的使用对模型整体的精度指标基本无损。
#### 显存对比
本次评测运行于单张A100-SXM4-80G GPU，模型默认使用BF16格式，默认生成的seq-length=1024（生成1024个token），其中oom表示out of memory。