Zhuoyang Song
commited on
Commit
·
f61328a
1
Parent(s):
de44e4d
update model card
Browse files
README.md
CHANGED
@@ -32,7 +32,7 @@ Chinese deductive reasoning model based on Transformer-XL.
|
|
32 |
* Wudao Causal Corpus (with 2.3 million samples): Based on the Wudao corpus (280G version), sentence pairs with causality were obtained through logic indicator matching, manual annotation + [GTSFactory](https://gtsfactory.com/), and data cleaning.
|
33 |
|
34 |
**训练流程 Model Training**
|
35 |
-
1. 在悟道语料库(280G
|
36 |
2. 在1.5M因果语料上进行因果生成任务的训练
|
37 |
3. 基于其余0.8M因果语料,协同[Randeng-TransformerXL-5B-Abduction-Chinese](https://huggingface.co/IDEA-CCNL/Randeng-TransformerXL-5B-Abduction-Chinese)和[Erlangshen-Roberta-330M-Causal-Chinese](https://huggingface.co/IDEA-CCNL/Erlangshen-Roberta-330M-Causal-Chinese)进行Self-consistency闭环迭代训练
|
38 |
* 两个生成模型基于核采样和贪心的方式进行因果推理和反绎推理,产生大量伪样本;
|
@@ -75,6 +75,37 @@ print(deduction_generate(model, tokenizer, input_text, device=0))
|
|
75 |
print(deduction_generate(model, tokenizer, input_texts, device=0))
|
76 |
```
|
77 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
78 |
## 引用 Citation
|
79 |
|
80 |
如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):
|
|
|
32 |
* Wudao Causal Corpus (with 2.3 million samples): Based on the Wudao corpus (280G version), sentence pairs with causality were obtained through logic indicator matching, manual annotation + [GTSFactory](https://gtsfactory.com/), and data cleaning.
|
33 |
|
34 |
**训练流程 Model Training**
|
35 |
+
1. 在悟道语料库(280G版本)上进行预训练
|
36 |
2. 在1.5M因果语料上进行因果生成任务的训练
|
37 |
3. 基于其余0.8M因果语料,协同[Randeng-TransformerXL-5B-Abduction-Chinese](https://huggingface.co/IDEA-CCNL/Randeng-TransformerXL-5B-Abduction-Chinese)和[Erlangshen-Roberta-330M-Causal-Chinese](https://huggingface.co/IDEA-CCNL/Erlangshen-Roberta-330M-Causal-Chinese)进行Self-consistency闭环迭代训练
|
38 |
* 两个生成模型基于核采样和贪心的方式进行因果推理和反绎推理,产生大量伪样本;
|
|
|
75 |
print(deduction_generate(model, tokenizer, input_texts, device=0))
|
76 |
```
|
77 |
|
78 |
+
## 一些例子 Some Cases
|
79 |
+
|
80 |
+
(以下内容为模型生成,不代表本单位观点)
|
81 |
+
|
82 |
+
1. 鲸鱼是哺乳动物,哺乳动物是恒温动物
|
83 |
+
- 鲸鱼拥有极强的恒温能力
|
84 |
+
- 鲸鱼需要消耗大量的能量
|
85 |
+
- 鲸鱼能在海洋中生存下来,完全依靠其体温恒定
|
86 |
+
2. 鲸鱼是哺乳动物,哺乳动物不是恒温动物
|
87 |
+
- 鲸鱼不是恒温动物,鲸鱼是变温动物
|
88 |
+
- 鲸鱼会随温度变化而变化
|
89 |
+
- 鲸鱼有冬眠现象
|
90 |
+
3. 机器人统治世界
|
91 |
+
- 机器人取代人类做大部分工作
|
92 |
+
- 机器人世界的法律必须能够适用于机器人统治的现实世界
|
93 |
+
- 机器人必须能够相互沟通,并能够处理人类无法处理的复杂情况
|
94 |
+
- 未来将不再需要大量工人,机器人将接管工厂
|
95 |
+
4. 玉米价格持续上涨
|
96 |
+
- 玉米淀粉价格也呈现上涨趋势
|
97 |
+
- 玉米种植效益不断攀升
|
98 |
+
- 在玉米深加工行业引起了一阵骚动
|
99 |
+
5. 实体经济融资难、融资贵
|
100 |
+
- 急需发展互联网金融等金融业态,为实体经济提供融资服务
|
101 |
+
- 融资需求向金融资产转移,增加了金融资产供给
|
102 |
+
- 必须大力发展资本市场,使资本市场成为经济转型的助推器
|
103 |
+
6. 影响华北地区的冷空气势力偏弱
|
104 |
+
- 冷空气的影响时间将偏短
|
105 |
+
- 冷空气影响结束后,华北地区气温会继续缓慢回升
|
106 |
+
- 华北地区气温较常年同期偏高
|
107 |
+
|
108 |
+
|
109 |
## 引用 Citation
|
110 |
|
111 |
如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):
|