A bit more training on an additional data

README.md

@@ -13,24 +13,23 @@ Not the best model because of limited resources (Trained on ~4.7 GB of data on R
 from transformers import pipeline
 unmasker = pipeline('fill-mask', model='jkeruotis/LitBERTa-uncased')
 unmasker('lietuvių kalba yra viena iš <mask> kalbų pasaulyje.')
-[{'sequence': 'lietuvių kalba yra viena iš nedaugelio kalbų pasaulyje.',
-  'score': 0.13811470568180084,
-  'token': 28150,
-  'token_str': ' nedaugelio'},
- {'sequence': 'lietuvių kalba yra viena iš geriausių kalbų pasaulyje.',
-  'score': 0.12880706787109375,
-  'token': 5617,
-  'token_str': ' geriausių'},
- {'sequence': 'lietuvių kalba yra viena iš populiariausių kalbų pasaulyje.',
-  'score': 0.12645503878593445,
+[{'sequence': 'lietuvių kalba yra viena iš populiariausių kalbų pasaulyje.',
+  'score': 0.13887910544872284,
   'token': 9404,
   'token_str': ' populiariausių'},
+ {'sequence': 'lietuvių kalba yra viena iš pirmaujančių kalbų pasaulyje.',
+  'score': 0.13532795011997223,
+  'token': 27431,
+  'token_str': ' pirmaujančių'},
  {'sequence': 'lietuvių kalba yra viena iš seniausių kalbų pasaulyje.',
-  'score': 0.08773279190063477,
+  'score': 0.1184583529829979,
   'token': 14775,
   'token_str': ' seniausių'},
- {'sequence': 'lietuvių kalba yra viena iš svarbiausių kalbų pasaulyje.',
-  'score': 0.08201173692941666,
-  'token': 6641,
-  'token_str': ' svarbiausių'}]
-```
+ {'sequence': 'lietuvių kalba yra viena iš geriausių kalbų pasaulyje.',
+  'score': 0.09306756407022476,
+  'token': 5617,
+  'token_str': ' geriausių'},
+ {'sequence': 'lietuvių kalba yra viena iš nedaugelio kalbų pasaulyje.',
+  'score': 0.08187634497880936,
+  'token': 28150,
+  'token_str': ' nedaugelio'}]```

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:cd560500d7b40ad8e76f170b2bdef36f2edc4c1c0de53dd0df6cb9fa7f946eab
-size 737206299
+oid sha256:b287db6b5a5e3f111128acce6b83bd16296980ef907ececc80dc346304a20e78
+size 737206309

tokenizer_config.json

@@ -1 +1 @@
-{"unk_token": {"content": "<unk>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "bos_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "eos_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "add_prefix_space": false, "errors": "replace", "sep_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "cls_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "pad_token": {"content": "<pad>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "max_len": 256, "special_tokens_map_file": null, "name_or_path": "./.models2/LitBERTa-base-v3"}
+{"unk_token": {"content": "<unk>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "bos_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "eos_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "add_prefix_space": false, "errors": "replace", "sep_token": {"content": "</s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "cls_token": {"content": "<s>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "pad_token": {"content": "<pad>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "mask_token": {"content": "<mask>", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true, "__type": "AddedToken"}, "max_len": 256, "special_tokens_map_file": null, "name_or_path": "./.models2/LitBERTa-base-v8"}

train_results.txt

@@ -1,3 +1,3 @@
-epoch = 6.0
-train_runtime = 106122.2527
-train_samples_per_second = 11.818
+epoch = 1.0
+train_runtime = 31399.0337
+train_samples_per_second = 6.066

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d9223ac8d820ef410c16a254afa3a83f88f879cabb0714ac546c9986e9e8d6a2
+oid sha256:f164436affdfd4273a7122844f6573aefe0b169801ba74c5de0934ecf6b82e90
 size 2159