README.md

---
language: ja
tags:
- t5
- text2text-generation
- seq2seq
license: cc-by-sa-4.0
widget:
- text: "answer: アマビエ context: アマビエ（歴史的仮名遣：アマビヱ）は、日本に伝わる半人半魚の妖怪。光輝く姿で海中から現れ、豊作や疫病などの予言をすると伝えられている。江戸時代後期の肥後国（現・熊本県）に現れたという。この話は挿図付きで瓦版に取り上げられ、遠く江戸にまで伝えられた。弘化3年4月中旬（1846年5月上旬）のこと、毎夜、海中に光る物体が出没していたため、役人が赴いたところ、それが姿を現した。姿形について言葉では書き留められていないが、挿図が添えられている。 その者は、役人に対して「私は海中に住むアマビエと申す者なり」と名乗り、「当年より6ヶ年の間は諸国で豊作が続くが疫病も流行する。私の姿を描いた絵を人々に早々に見せよ。」と予言めいたことを告げ、海の中へと帰って行った。年代が特定できる最古の例は、天保15年（1844年）の越後国（現・新潟県）に出現した「海彦（読みの推定：あまびこ）」を記述した瓦版（『坪川本』という。福井県立図書館所蔵）、その挿絵に描かれた海彦は、頭からいきなり3本の足が生えた（胴体のない）形状で、人間のような耳をし、目はまるく、口が突出している。その年中に日本人口の7割の死滅を予言し、その像の絵札による救済を忠告している。"
---

# 回答と回答が出てくるパラグラフを与えると質問文を生成するモデル

SEE: https://github.com/sonoisa/deep-question-generation


## 本モデルの作成ステップ概要

1. [SQuAD 1.1](https://rajpurkar.github.io/SQuAD-explorer/)を日本語に機械翻訳し、不正なデータをクレンジング（有効なデータは約半分）。  
回答が含まれるコンテキスト、質問文、解答の3つ組ができる。
2. [日本語T5モデル](https://huggingface.co/sonoisa/t5-base-japanese)を次の設定でファインチューニング
  * 入力: "answer: {解答} content: {回答が含まれるコンテキスト}"
  * 出力: "{質問文}"
  * 各種ハイパーパラメータ
    * 最大入力トークン数: 512
    * 最大出力トークン数: 64
    * 最適化アルゴリズム: AdaFactor
    * 学習率: 0.001（固定）
    * バッチサイズ: 128
    * ステップ数: 2500（500ステップごとにチェックポイントを出力、定量・定性評価を行い2500ステップ目を採用）