charent commited on
Commit
ad640a6
·
1 Parent(s): 4448307

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -2
README.md CHANGED
@@ -50,10 +50,11 @@ CLM预训练过程中,模型输入和输出是一样的,计算交叉熵损
50
 
51
  主要使用`bell open source`的数据集。感谢大佬[BELLE](https://github.com/LianjiaTech/BELLE)。
52
 
53
- 预训练的数据格式如下:
54
  ```python
55
- text = f"##提问:{example['instruction']} ##回答:{example['output'][EOS]"
56
  ```
 
57
  模型计算损失时会忽略标记`"##回答:"`之前的部分(`"##回答:"`也会被忽略),从`"##回答:"`后面开始。
58
 
59
  记得添加`EOS`句子结束特殊标记,否则模型`decode`的时候不知道要什么时候停下来。`BOS`句子开始标记可填可不填。
 
50
 
51
  主要使用`bell open source`的数据集。感谢大佬[BELLE](https://github.com/LianjiaTech/BELLE)。
52
 
53
+ SFT训练的数据格式如下:
54
  ```python
55
+ text = f"##提问:\n{example['instruction']}\n##回答:\n{example['output'][EOS]"
56
  ```
57
+
58
  模型计算损失时会忽略标记`"##回答:"`之前的部分(`"##回答:"`也会被忽略),从`"##回答:"`后面开始。
59
 
60
  记得添加`EOS`句子结束特殊标记,否则模型`decode`的时候不知道要什么时候停下来。`BOS`句子开始标记可填可不填。