mirror of
https://github.com/QwenLM/Qwen.git
synced 2026-05-21 00:45:48 +08:00
update readme
This commit is contained in:
yangapku
67
README_JA.md
67
README_JA.md
@@ -38,7 +38,7 @@ Qwen-7Bは、アリババクラウドが提唱する大規模言語モデルシ
|
||||
一般的に、Qwen-7B は、MMLU、C-Eval、GSM8K、HumanEval、WMT22 などの自然言語理解、数学的問題解決、コーディングなどに関するモデルの能力を評価する一連のベンチマークデータセットにおいて、同程度のモデルサイズのベースラインモデルを凌駕し、さらには 13B 程度のパラメータを持つより大規模なモデルをも凌駕している。以下の結果をご覧ください。
|
||||
|
||||
| Model | MMLU | C-Eval | GSM8K | HumanEval | WMT22 (en-zh) |
|
||||
| :---------------- | -------------: | -------------: | -------------: | -------------: | -------------: |
|
||||
| :---------------- | :------------: | :------------: | :------------: | :------------: | :------------: |
|
||||
| LLaMA-7B | 35.1 | - | 11.0 | 10.5 | 8.7 |
|
||||
| LLaMA 2-7B | 45.3 | - | 14.6 | 12.8 | 17.9 |
|
||||
| Baichuan-7B | 42.3 | 42.8 | 9.7 | 9.2 | 26.6 |
|
||||
@@ -87,7 +87,7 @@ cd flash-attention && pip install .
|
||||
|
||||
#### 🤗 Transformers
|
||||
|
||||
Qwen-7B-Chat を推論に使用するには、以下のように数行のコードを入力するだけです:
|
||||
Qwen-7B-Chat を推論に使用するには、以下のように数行のコードを入力するだけです。**最新のコードを使用していることを確認してください。**
|
||||
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
@@ -201,6 +201,12 @@ tiktoken に基づくトークナイザーは、他のトークナイザー、
|
||||
**必要条件** Python >= 3.8。Linux ディストリビューション（Ubuntu、MacOS など）+ CUDA > 10.0。
|
||||
```
|
||||
|
||||
そして、以下のコマンドを実行して `bitsandbytes` をインストールする：
|
||||
|
||||
```
|
||||
pip install bitsandbytes
|
||||
```
|
||||
|
||||
Windows ユーザは、[bitsandbytes-windows-webui](https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels) という別のオプションを見つける必要があります。
|
||||
|
||||
そして、量子化の設定を `AutoModelForCausalLM.from_pretrained` に追加するだけとなります。以下の例を参照してください:
|
||||
@@ -230,36 +236,60 @@ model = AutoModelForCausalLM.from_pretrained(
|
||||
この方法では、Qwen-7B を `NF4` と `Int8` でロードすることができ、メモリ使用量を節約できる。以下にモデル性能の関連統計量を示します。量子化により、有効性は若干低下するが、推論効率は大幅に向上し、メモリコストが削減されることがわかります。
|
||||
|
||||
| Precision | MMLU | Memory |
|
||||
| :---------: | -------: | -------: |
|
||||
| BF16 | 56.7 | 16.2G |
|
||||
| Int8 | 52.8 | 10.1G |
|
||||
| NF4 | 48.9 | 7.4G |
|
||||
| :---------: | :------: | :------: |
|
||||
| BF16 | 56.7 | 16.2G |
|
||||
| Int8 | 52.8 | 10.1G |
|
||||
| NF4 | 48.9 | 7.4G |
|
||||
|
||||
## CLI デモ
|
||||
##
|
||||
|
||||
`cli_demo.py` に CLI のデモ例を用意しています。ユーザはプロンプトを入力することで Qwen-7B-Chat と対話することができ、モデルはストリーミングモードでモデルの出力を返します。
|
||||
|
||||
## デモ
|
||||
|
||||
### CLI デモ
|
||||
|
||||
`cli_demo.py` に CLI のデモ例を用意しています。ユーザはプロンプトを入力することで Qwen-7B-Chat と対話することができ、モデルはストリーミングモードでモデルの出力を返します。以下のコマンドを実行する：
|
||||
|
||||
```
|
||||
python cli_demo.py
|
||||
```
|
||||
|
||||
### ウェブ UI
|
||||
|
||||
ウェブUIデモを構築するためのコードを提供します（@wysiadに感謝）。始める前に、以下のパッケージがインストールされていることを確認してください：
|
||||
|
||||
```
|
||||
pip install gradio mdtex2html
|
||||
```
|
||||
|
||||
そして、以下のコマンドを実行し、生成されたリンクをクリックする：
|
||||
|
||||
```
|
||||
python web_demo.py
|
||||
```
|
||||
|
||||
## ツールの使用
|
||||
|
||||
Qwen-7B-Chat は、API、データベース、モデルなど、ツールの利用に特化して最適化されており、ユーザは独自の Qwen-7B ベースの LangChain、エージェント、コードインタプリタを構築することができます。ツール利用能力を評価するための評価[ベンチマーク](eval/EVALUATION.md)では、Qwen-7B は安定した性能に達しています。
|
||||
[](https://)
|
||||
|
||||
| Model | Tool Selection (Acc.↑) | Tool Input (Rouge-L↑) | False Positive Error↓ |
|
||||
|-------------|------------------------|-----------------------|-----------------------|
|
||||
| GPT-4 | 95% | **0.90** | 15% |
|
||||
| GPT-3.5 | 85% | 0.88 | 75% |
|
||||
| **Qwen-7B** | **99%** | 0.89 | **9.7%** |
|
||||
| Model | Tool Selection (Acc.↑) | Tool Input (Rouge-L↑) | False Positive Error↓ |
|
||||
|:------------|:----------------------:|:----------------------:|:----------------------:|
|
||||
| GPT-4 | 95% | **0.90** | 15% |
|
||||
| GPT-3.5 | 85% | 0.88 | 75% |
|
||||
| **Qwen-7B** | **99%** | 0.89 | **9.7%** |
|
||||
|
||||
ReAct プロンプトの書き方や使い方については、[ReAct の例](examples/react_prompt.md)を参照してください。ツールを使用することで、モデルがよりよいタスクを実行できるようになります。
|
||||
|
||||
さらに、エージェントとしての能力を示す実験結果を提供する。詳細は [Hugging Face Agent](https://huggingface.co/docs/transformers/transformers_agents) を参照。Hugging Face が提供するランモードベンチマークでの性能は以下の通りです:
|
||||
|
||||
| Model | Tool Selection↑ | Tool Used↑ | Code↑ |
|
||||
| --------------- | ---------------- | ---------- | --------- |
|
||||
| GPT-4 | **100** | **100** | **97.41** |
|
||||
| GPT-3.5 | 95.37 | 96.30 | 87.04 |
|
||||
| StarCoder-15.5B | 87.04 | 87.96 | 68.89 |
|
||||
| **Qwen-7B** | 90.74 | 92.59 | 74.07 |
|
||||
| Model | Tool Selection↑ | Tool Used↑ | Code↑ |
|
||||
|:---------------|:---------------:|:-----------:|:---------:|
|
||||
|GPT-4 | **100** | **100** | **97.41** |
|
||||
|GPT-3.5 | 95.37 | 96.30 | 87.04 |
|
||||
|StarCoder-15.5B | 87.04 | 87.96 | 68.89 |
|
||||
| **Qwen-7B** | 90.74 | 92.59 | 74.07 |
|
||||
|
||||
## 長い文脈の理解
|
||||
|
||||
@@ -297,3 +327,4 @@ Qwen-7B と Qwen-7B-Chat のコードとモデルウェイトは、研究者や
|
||||
## お問い合わせ
|
||||
|
||||
研究チームまたは製品チームへのメッセージは、qianwen_opensource@alibabacloud.com までお気軽にお送りください。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user