starlight-apk/Qwen
1
0
Fork 0
mirror of https://github.com/QwenLM/Qwen.git synced 2026-05-21 00:45:48 +08:00
Code Issues Packages Projects Releases Wiki Activity

Update README_JA.md

Browse Source
This commit is contained in:
Junyang Lin
2023-08-30 17:57:40 +08:00
committed by GitHub
parent ff2bfa57d6
commit c8209f7328
1 changed files with 4 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
README_JA.md
View File

@@ -259,8 +259,8 @@ BF16 の精度と Int4 の量子化レベルの下で、それぞれ 2048 個と
また、BF16またはInt4の量子化レベルで、それぞれ2048トークンをコンテキストとしてエンコードした場合（および単一のトークンを生成した場合）と、8192トークンを生成した場合（単一のトークンをコンテキストとして生成した場合）のGPUメモリ使用量のピーク値をプロファイリングしました。その結果を以下に示します。 また、BF16またはInt4の量子化レベルで、それぞれ2048トークンをコンテキストとしてエンコードした場合（および単一のトークンを生成した場合）と、8192トークンを生成した場合（単一のトークンをコンテキストとして生成した場合）のGPUメモリ使用量のピーク値をプロファイリングしました。その結果を以下に示します。
| Quantization | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens | | Quantization Level | Peak Usage for Encoding 2048 Tokens | Peak Usage for Generating 8192 Tokens |
| -------------- | :-----------------------------------: | :-------------------------------------: | | ------------------ | :---------------------------------: | :-----------------------------------: |
| BF16 | 17.66GB | 22.58GB | | BF16 | 17.66GB | 22.58GB |
| Int4 | 8.21GB | 13.62GB | | Int4 | 8.21GB | 13.62GB |