Zhuoyang Song commited on
Commit
f61328a
·
1 Parent(s): de44e4d

update model card

Browse files
Files changed (1) hide show
  1. README.md +32 -1
README.md CHANGED
@@ -32,7 +32,7 @@ Chinese deductive reasoning model based on Transformer-XL.
32
  * Wudao Causal Corpus (with 2.3 million samples): Based on the Wudao corpus (280G version), sentence pairs with causality were obtained through logic indicator matching, manual annotation + [GTSFactory](https://gtsfactory.com/), and data cleaning.
33
 
34
  **训练流程 Model Training**
35
- 1. 在悟道语料库(280G版本)和标注的相似句子对数据集上进行预训练([Randeng-TransformerXL-1.1B-Paraphrasing-Chinese](https://huggingface.co/IDEA-CCNL/Randeng-TransformerXL-1.1B-Paraphrasing-Chinese))
36
  2. 在1.5M因果语料上进行因果生成任务的训练
37
  3. 基于其余0.8M因果语料,协同[Randeng-TransformerXL-5B-Abduction-Chinese](https://huggingface.co/IDEA-CCNL/Randeng-TransformerXL-5B-Abduction-Chinese)和[Erlangshen-Roberta-330M-Causal-Chinese](https://huggingface.co/IDEA-CCNL/Erlangshen-Roberta-330M-Causal-Chinese)进行Self-consistency闭环迭代训练
38
  * 两个生成模型基于核采样和贪心的方式进行因果推理和反绎推理,产生大量伪样本;
@@ -75,6 +75,37 @@ print(deduction_generate(model, tokenizer, input_text, device=0))
75
  print(deduction_generate(model, tokenizer, input_texts, device=0))
76
  ```
77
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
78
  ## 引用 Citation
79
 
80
  如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):
 
32
  * Wudao Causal Corpus (with 2.3 million samples): Based on the Wudao corpus (280G version), sentence pairs with causality were obtained through logic indicator matching, manual annotation + [GTSFactory](https://gtsfactory.com/), and data cleaning.
33
 
34
  **训练流程 Model Training**
35
+ 1. 在悟道语料库(280G版本)上进行预训练
36
  2. 在1.5M因果语料上进行因果生成任务的训练
37
  3. 基于其余0.8M因果语料,协同[Randeng-TransformerXL-5B-Abduction-Chinese](https://huggingface.co/IDEA-CCNL/Randeng-TransformerXL-5B-Abduction-Chinese)和[Erlangshen-Roberta-330M-Causal-Chinese](https://huggingface.co/IDEA-CCNL/Erlangshen-Roberta-330M-Causal-Chinese)进行Self-consistency闭环迭代训练
38
  * 两个生成模型基于核采样和贪心的方式进行因果推理和反绎推理,产生大量伪样本;
 
75
  print(deduction_generate(model, tokenizer, input_texts, device=0))
76
  ```
77
 
78
+ ## 一些例子 Some Cases
79
+
80
+ (以下内容为模型生成,不代表本单位观点)
81
+
82
+ 1. 鲸鱼是哺乳动物,哺乳动物是恒温动物
83
+ - 鲸鱼拥有极强的恒温能力
84
+ - 鲸鱼需要消耗大量的能量
85
+ - 鲸鱼能在海洋中生存下来,完全依靠其体温恒定
86
+ 2. 鲸鱼是哺乳动物,哺乳动物不是恒温动物
87
+ - 鲸鱼不是恒温动物,鲸鱼是变温动物
88
+ - 鲸鱼会随温度变化而变化
89
+ - 鲸鱼有冬眠现象
90
+ 3. 机器人统治世界
91
+ - 机器人取代人类做大部分工作
92
+ - 机器人世界的法律必须能够适用于机器人统治的现实世界
93
+ - 机器人必须能够相互沟通,并能够处理人类无法处理的复杂情况
94
+ - 未来将不再需要大量工人,机器人将接管工厂
95
+ 4. 玉米价格持续上涨
96
+ - 玉米淀粉价格也呈现上涨趋势
97
+ - 玉米种植效益不断攀升
98
+ - 在玉米深加工行业引起了一阵骚动
99
+ 5. 实体经济融资难、融资贵
100
+ - 急需发展互联网金融等金融业态,为实体经济提供融资服务
101
+ - 融资需求向金融资产转移,增加了金融资产供给
102
+ - 必须大力发展资本市场,使资本市场成为经济转型的助推器
103
+ 6. 影响华北地区的冷空气势力偏弱
104
+ - 冷空气的影响时间将偏短
105
+ - 冷空气影响结束后,华北地区气温会继续缓慢回升
106
+ - 华北地区气温较常年同期偏高
107
+
108
+
109
  ## 引用 Citation
110
 
111
  如果您在您的工作中使用了我们的模型,可以引用我们的[论文](https://arxiv.org/abs/2209.02970):