update readme

This commit is contained in:
JustinLin610
2023-09-12 00:16:06 +08:00
parent b1c10b956d
commit c5f7fa9487
3 changed files with 37 additions and 30 deletions

View File

@@ -26,10 +26,11 @@
5. **支持插件调用**Qwen-7B-Chat针对插件调用相关的对齐数据做了特定优化当前模型能有效调用插件以及升级为Agent。
以下章节的信息可能对你有帮助建议阅读。如果你在使用过程遇到问题建议先查询FAQ如仍无法解决再提交issue。
<br>
<br><br>
## 新闻
* 2023年9月12日 支持Qwen-7B和Qwen-7B-Chat的微调其中包括全参数微调、LoRA以及Q-LoRA。
* 2023年8月21日 发布Qwen-7B-Chat的Int4量化模型Qwen-7B-Chat-Int4。该模型显存占用低推理速度相比半精度模型显著提升在基准评测上效果损失较小。
* 2023年8月3日 在魔搭社区ModelScope和Hugging Face同步推出Qwen-7B和Qwen-7B-Chat模型。同时我们发布了技术备忘录介绍了相关的训练细节和模型表现。
<br>
@@ -59,7 +60,7 @@ Qwen-7B在多个全面评估自然语言理解与生成、数学运算解题、
此外,根据[OpenCompass](https://opencompass.org.cn/leaderboard-llm)进行的大型语言模型第三方评估Qwen-7B 和 Qwen-7B-Chat 是其中表现最优的7B参数模型。该评估由大量公开基准组成用于评估语言理解和生成、代码生成、数学、推理等。
更多的实验结果和细节请查看我们的技术备忘录。点击[这里](tech_memo.md)。
<br>
<br><br>
## 要求
@@ -201,7 +202,7 @@ print(f'Response: {response}')
> 作为术语的“tokenization”在中文中尚无共识的概念对应本文档采用英文表达以利说明。
基于tiktoken的tokenizer有别于其他分词器比如sentencepiece tokenizer。尤其在微调阶段需要特别注意特殊token的使用。关于tokenizer的更多信息以及微调时涉及的相关使用请参阅[文档](tokenization_note_zh.md)。
<br>
<br><br>
## 量化
@@ -257,7 +258,7 @@ response, history = model.chat(tokenizer, "Hi", history=None)
| Int4 | 8.21GB | 13.62GB |
上述性能测算使用[此脚本](https://qianwen-res.oss-cn-beijing.aliyuncs.com/profile.py)完成。
<br>
<br><br>
## 微调
@@ -332,7 +333,7 @@ model = AutoPeftModelForCausalLM.from_pretrained(
```
上述shell脚本使用`torchrun`来运行单GPU和多GPU训练。分布式训练需要根据你的需求和机器指定正确的分布式训练超参数。
<br><br>
## Demo
@@ -369,6 +370,7 @@ python cli_demo.py
<img src="assets/cli_demo.gif" width="600" />
<br>
<p>
<br>
## API
@@ -424,7 +426,7 @@ print(response.choices[0].message.content)
<p>
该接口也支持函数调用Function Calling但暂时仅限 `stream=False` 时能生效。用法见[函数调用示例](examples/function_call_examples.py)。
<br>
<br><br>
## 部署
@@ -442,7 +444,7 @@ model = load_model_on_gpus('Qwen/Qwen-7B-Chat', num_gpus=2)
```
你即可使用2张GPU进行推理。
<br>
<br><br>
## 工具调用
@@ -498,17 +500,17 @@ For how to write and use prompts for ReAct Prompting, please refer to [the ReAct
## 复现
我们提供了评测脚本以供复现我们的实验结果。注意,由于内部代码和开源代码存在少许差异,评测结果可能与汇报结果存在细微的结果不一致。请阅读[eval/EVALUATION.md](eval/EVALUATION.md)了解更多信息。
<br>
<br><br>
## FAQ
如遇到问题,敬请查阅[FAQ](FAQ_zh.md)以及issue区如仍无法解决再提交issue。
<br>
<br><br>
## 使用协议
研究人员与开发者可使用Qwen-7B和Qwen-7B-Chat或进行二次开发。我们同样允许商业使用具体细节请查看[LICENSE](LICENSE)。如需商用,请填写[问卷](https://dashscope.console.aliyun.com/openModelApply/qianwen)申请。
<br>
<br><br>
## 联系我们