From 1b119d4a88c4f4b41e7d4a182d44f19a7de93abe Mon Sep 17 00:00:00 2001 From: Junyang Lin Date: Thu, 3 Aug 2023 21:08:27 +0800 Subject: [PATCH] Update README_CN.md --- README_CN.md | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/README_CN.md b/README_CN.md index 2345fda..2c8c248 100644 --- a/README_CN.md +++ b/README_CN.md @@ -160,7 +160,13 @@ print(f'Response: {response}') ## 量化 -如希望使用更低精度的量化模型,如4比特和8比特的模型,我们提供了简单的示例来说明如何快速使用量化模型: +如希望使用更低精度的量化模型,如4比特和8比特的模型,我们提供了简单的示例来说明如何快速使用量化模型。在开始前,确保你已经安装了`bitsandbytes`。 + +```bash +pip install bitsandbytes +``` + +你只需要在`AutoModelForCausalLM.from_pretrained`中添加你的量化配置,即可使用量化模型。如下所示: ```python from transformers import BitsAndBytesConfig