mBERT-2

This model is a fine-tuned version of bert-base-multilingual-cased on the Czech Relationship Extraction Dataset (CERED)(http://hdl.handle.net/11234/1-3265) version 2. It achieves the following results on the test set:

• Loss: 0.6578
• Accuracy: 0.8836
• Micro Precision: 0.8836
• Micro Recall: 0.8836
• Micro F1: 0.8836
• Macro Precision: 0.8408
• Macro Recall: 0.8390
• Macro F1: 0.8341

Model description

Labels are

['P0 other', 'P19 místo narození', 'P20 místo úmrtí', 'P21 pohlaví',
'P22 otec', 'P25 matka', 'P26 choť', 'P27 státní občanství', 'P36 hlavní město',
'P39 ve funkci', 'P47 hraničí s', 'P50 autor', 'P53 rodina', 'P54 člen sportovního družstva',
'P97 šlechtický titul', 'P101 zaměření', 'P102 stranická příslušnost',
'P105 taxonomické zařazení', 'P106 povolání', 'P118 liga', 'P131 nachází se v administrativní jednotce',
'P136 žánr', 'P137 operátor', 'P138 pojmenováno po', 'P140 vyznání', 'P150 nižší správní celky',
'P155 předchozí', 'P159 sídlo', 'P161 hraje', 'P171 nadřazený taxon', 'P175 interpret',
'P176 výrobce', 'P179 série', 'P206 u vodní plochy', 'P264 hudební vydavatelství',
'P276 místo', 'P279 nadtřída', 'P360 seznam (čeho)', 'P361 část (čeho)', 'P413 pozice hráče',
'P425 obor tohoto povolání', 'P460 údajně totéž co', 'P461 protiklad', 'P463 člen (čeho)',
'P495 země původu', 'P527 skládá se z', 'P530 diplomatický vztah', 'P641 sport', 'P669 ulice',
'P706 oblast', 'P708 diecéze', 'P734 příjmení', 'P735 rodné jméno', 'P740 místo vzniku',
'P800 dílo', 'P921 hlavní téma díla', 'P974 přítok', 'P1056 produkuje', 'P1303 hudební nástroj',
'P1376 hlavní sídlo čeho', 'P1383 zahrnuje sídlo', 'P1889 rozdílné od', 'P3373 sourozenec', 'P4552 pohoří']

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 12
• eval_batch_size: 12
• seed: 42
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 8

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Micro Precision	Micro Recall	Micro F1	Macro Precision	Macro Recall	Macro F1
0.6815	1.0	30148	0.6219	0.8248	0.8248	0.8248	0.8248	0.7812	0.7508	0.7461
0.587	2.0	60296	0.5427	0.8544	0.8544	0.8544	0.8544	0.8207	0.7933	0.7966
0.4624	3.0	90444	0.5276	0.8611	0.8611	0.8611	0.8611	0.8415	0.8065	0.8116
0.4268	4.0	120592	0.5558	0.8614	0.8614	0.8614	0.8614	0.8169	0.8178	0.8087
0.3821	5.0	150740	0.5770	0.8681	0.8681	0.8681	0.8681	0.8291	0.8242	0.8190
0.3031	6.0	180888	0.5732	0.8774	0.8774	0.8774	0.8774	0.8323	0.8289	0.8250
0.219	7.0	211036	0.6498	0.8764	0.8764	0.8764	0.8764	0.8370	0.8296	0.8274
0.1897	8.0	241184	0.6578	0.8836	0.8836	0.8836	0.8836	0.8408	0.8390	0.8341

Framework versions

• Transformers 4.46.2
• Pytorch 2.5.1+cu124
• Datasets 3.1.0
• Tokenizers 0.20.3