Miwa-Keita commited on
Commit
9bfb00e
·
verified ·
1 Parent(s): 25bbff9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +74 -3
README.md CHANGED
@@ -1,3 +1,74 @@
1
- ---
2
- license: cc-by-sa-4.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: cc-by-sa-4.0
3
+ language:
4
+ - ja
5
+ tags:
6
+ - japanese input
7
+ - kana kanji conversion
8
+ datasets:
9
+ - Miwa-Keita/zenz-v2.5-dataset
10
+ pipeline_tag: text2text-generation
11
+ ---
12
+
13
+ # zenz-v2.5-small
14
+
15
+ <div align="center">
16
+ <img src="https://cdn-uploads.huggingface.co/production/uploads/663b87e5a14bfb0a2d4914df/gWnbTavSqhhWYJrP6SdQ1.png" alt="zenz-v2 model spec" width="400"/>
17
+ </div>
18
+
19
+ <!-- Provide a quick summary of what the model is/does. -->
20
+
21
+ zenz-v2.5はかな漢字変換タスクに特化したGPT-2アーキテクチャの条件付き言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。
22
+
23
+ * 文字単位+バイト単位BPEトークナイザー
24
+ * かな漢字変換タスクにおいて高い性能
25
+ * 文脈を考慮した変換で高い性能を発揮
26
+
27
+ zenz-v2.5は3種類のモデルサイズで公開しています。
28
+
29
+ * **[zenz-v2.5-medium](https://huggingface.co/Miwa-Keita/zenz-v2.5-medium)**: 310Mの大規模モデル
30
+ * **[zenz-v2.5-small](https://huggingface.co/Miwa-Keita/zenz-v2.5-small)**: 91Mの中規模モデル
31
+ * **[zenz-v2.5-xsmall](https://huggingface.co/Miwa-Keita/zenz-v2.5-xsmall)**: 26Mの小規模モデル
32
+
33
+ ## Model Details
34
+
35
+ ### Model Description
36
+
37
+ <!-- Provide a longer summary of what this model is. -->
38
+
39
+ [CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)のトークナイザを利用しています。
40
+
41
+ 本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。
42
+
43
+
44
+ - **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan))
45
+ - **Model type:** GPT-2
46
+ - **Language(s) (NLP):** Japanese
47
+ - **License:** CC-BY-SA 4.0
48
+
49
+ ### Model Sources
50
+
51
+ <!-- Provide the basic links for the model. -->
52
+
53
+ 本モデルはZenzai(AzooKeyKanaKanjiConverter)と共に利用することを想定して構築しています。
54
+
55
+ - **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter
56
+
57
+ ### Data Sources
58
+
59
+ 本モデルは[zenz-v2.5-dataset](https://huggingface.co/datasets/Miwa-Keita/zenz-v2.5-dataset)を利用して構築しました。
60
+
61
+ ## Acknowledgements
62
+
63
+ 本モデルの構築にあたり、さくらインターネット株式会社様より計算資源の支援をいただきました。感謝申し上げます。
64
+
65
+ また、以下のライブラリやツール、言語資源を活用して本モデルを構築しました。
66
+
67
+ * MeCab (https://taku910.github.io/mecab/)
68
+ * ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
69
+ * torch (https://pypi.org/project/torch/)
70
+ * transformers (https://pypi.org/project/transformers/)
71
+ * datasets (https://pypi.org/project/datasets/)
72
+ * jaconv (https://pypi.org/project/jaconv/)
73
+ * llama.cpp (https://github.com/ggerganov/llama.cpp)
74
+ * llm.c (https://github.com/karpathy/llm.c)