{ | |
"tokenizer_class": "PreTrainedTokenizerFast", | |
"unk_token": "<unk>", | |
"sep_token": "</s>", | |
"pad_token": "<pad>", | |
"cls_token": "[CLS]", | |
"mask_token": "[MASK]", | |
"model_file": "spm_model.model" | |
} |
{ | |
"tokenizer_class": "PreTrainedTokenizerFast", | |
"unk_token": "<unk>", | |
"sep_token": "</s>", | |
"pad_token": "<pad>", | |
"cls_token": "[CLS]", | |
"mask_token": "[MASK]", | |
"model_file": "spm_model.model" | |
} |