From cdb311b6416ae93e788ecbdbd566c109f1e95c1a Mon Sep 17 00:00:00 2001 From: Wang Peng <798960736@qq.com> Date: Sat, 19 Aug 2023 18:21:31 +0800 Subject: [PATCH] Update README_CN.md --- README_CN.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README_CN.md b/README_CN.md index af4d8f9..27bff4c 100644 --- a/README_CN.md +++ b/README_CN.md @@ -395,7 +395,7 @@ For how to write and use prompts for ReAct Prompting, please refer to [the ReAct ## 长文本理解 -我们引入了NTK插值、窗口注意力、LogN注意力缩放等技术来提升模型的上下文长度并突破训练序列长度的限制。我们的模型已经突破8K的序列长度。通过arXiv数据集上的语言模型实验，我们发现Qwen-7B能够在长序列的设置下取得不错的表现。 +我们引入了NTK插值、窗口注意力、LogN注意力缩放等技术来提升模型的上下文长度并突破训练序列长度的限制。我们的模型已经突破8K的序列长度。通过arXiv数据集上的语言模型实验（使用的指标为PPL），我们发现Qwen-7B能够在长序列的设置下取得不错的表现。