metadata

language:
  - ja
tags:
  - t5
  - text2text-generation
  - seq2seq
license: cc-by-sa-4.0
datasets:
  - wikipedia
  - oscar
  - cc100

日本語T5 Prefix Language Model

This is a T5 (Text-to-Text Transfer Transformer) Prefix Language Model fine-tuned on Japanese corpus.

このモデルは日本語T5事前学習済みモデル（sonoisa/t5-base-japanese-v1.1）を初期値にして、Prefix Language Modelタスク（与えられたトークン列の続きのトークン列を予測するタスク）用に100Kステップ追加学習したものです。

追加学習には次の日本語コーパス（約100GB）を用いました。

Wikipediaの日本語ダンプデータ (2022年6月27日時点のもの)
OSCARの日本語コーパス
CC-100の日本語コーパス

サンプルコード

準備中

免責事項

本モデルの作者は本モデルを作成するにあたって、その内容、機能等について細心の注意を払っておりますが、モデルの出力が正確であるかどうか、安全なものであるか等について保証をするものではなく、何らの責任を負うものではありません。本モデルの利用により、万一、利用者に何らかの不都合や損害が発生したとしても、モデルやデータセットの作者や作者の所属組織は何らの責任を負うものではありません。利用者には本モデルやデータセットの作者や所属組織が責任を負わないことを明確にする義務があります。

ライセンス

CC-BY SA 4.0

Common Crawlの利用規約も守るようご注意ください。

謝辞

本モデルはオージス総研鵜野和也さんによる記事「はじめての自然言語処理第21回 T5X と Prompt Tuning の検証」の内容をもとに作成しました。素晴らしい記事を公開していただけたことに大変感謝いたします。