Update README.md
Browse files
README.md
CHANGED
@@ -50,10 +50,11 @@ CLM预训练过程中,模型输入和输出是一样的,计算交叉熵损
|
|
50 |
|
51 |
主要使用`bell open source`的数据集。感谢大佬[BELLE](https://github.com/LianjiaTech/BELLE)。
|
52 |
|
53 |
-
|
54 |
```python
|
55 |
-
text = f"
|
56 |
```
|
|
|
57 |
模型计算损失时会忽略标记`"##回答:"`之前的部分(`"##回答:"`也会被忽略),从`"##回答:"`后面开始。
|
58 |
|
59 |
记得添加`EOS`句子结束特殊标记,否则模型`decode`的时候不知道要什么时候停下来。`BOS`句子开始标记可填可不填。
|
|
|
50 |
|
51 |
主要使用`bell open source`的数据集。感谢大佬[BELLE](https://github.com/LianjiaTech/BELLE)。
|
52 |
|
53 |
+
SFT训练的数据格式如下:
|
54 |
```python
|
55 |
+
text = f"##提问:\n{example['instruction']}\n##回答:\n{example['output'][EOS]"
|
56 |
```
|
57 |
+
|
58 |
模型计算损失时会忽略标记`"##回答:"`之前的部分(`"##回答:"`也会被忽略),从`"##回答:"`后面开始。
|
59 |
|
60 |
记得添加`EOS`句子结束特殊标记,否则模型`decode`的时候不知道要什么时候停下来。`BOS`句子开始标记可填可不填。
|