YAML Metadata Warning: empty or missing yaml metadata in repo card (https://huggingface.co/docs/hub/model-cards#model-card-metadata)

Model Card for t5_small Summarization Model

Model Details

모델의 목적은

  1. 입력 뉴스/기사 대해
  2. 요약된 내용을 생성합니다.

따라서 모델의 input/output은 다음과 같습니다.

  • input : 뉴스/기사 ( = N tokens )
  • output : 감정 라벨 ( = M tokens )

Training Data

CNN/Daily mail: CNN과 Daily Mail의 저널리스트가 작성한 300,000개가 넘는 고유한 뉴스 기사가 포함된 영어 dataset.

  • 본 데이터의 1.0.0 버전은 Apache-2.0 License를 따르며, 데이터 생성을 위한 코드는 MIT License를 따른다.

CNN/Daily mail dataset에는 2가지 데이터가 존재합니다.

  • article : 뉴스/기사
  • highlights : 요약

Training Procedure

  • Seq2SeqTrainingArguments로 학습인자 설정
  • DataCollatorForSeq2Seq로 data collator 설정
  • Seq2SeqTrainer로 trainer 설정 및 학습.

How to Use

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small") model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

train_dataset = load_dataset("cnn_dailymail", "3.0.0", split='train[:1%]') valid_dataset = load_dataset("cnn_dailymail", "3.0.0", split='validation[:1%]')

Evaluation

모델이 "문장을 얼마나 잘 요약하는"

  • ROUGE Score와 BLEU Score를 통해 성능을 확인합니다.
  • Pipeline과 search strategy로 확장된 예측 결과를 확인합니다.
  • ROUGE, BLEU score를 계산하는 compute_metric function을 정의합니다.

Limitations

ROUGE score가 높지 않음.

Ethical Considerations

Downloads last month
5
Safetensors
Model size
60.5M params
Tensor type
F32
·
Inference Providers NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API: The model has no library tag.