|
--- |
|
language: lt |
|
tags: |
|
- exbert |
|
license: mit |
|
--- |
|
# LitBERTa uncased model |
|
|
|
Not the best model because of limited resources (Trained on ~4.7 GB of data on RTX2070 8GB for ~10 days) but it covers special lithuanian symbols `ąčęėįšųūž`. 128K vocabulary chosen because language has a lot of word forms. |
|
|
|
## How to use |
|
```python |
|
from transformers import pipeline |
|
unmasker = pipeline('fill-mask', model='jkeruotis/LitBERTa-uncased') |
|
unmasker('lietuvių kalba yra viena iš <mask> kalbų pasaulyje.') |
|
[{'sequence': 'lietuvių kalba yra viena iš populiariausių kalbų pasaulyje.', |
|
'score': 0.13887910544872284, |
|
'token': 9404, |
|
'token_str': ' populiariausių'}, |
|
{'sequence': 'lietuvių kalba yra viena iš pirmaujančių kalbų pasaulyje.', |
|
'score': 0.13532795011997223, |
|
'token': 27431, |
|
'token_str': ' pirmaujančių'}, |
|
{'sequence': 'lietuvių kalba yra viena iš seniausių kalbų pasaulyje.', |
|
'score': 0.1184583529829979, |
|
'token': 14775, |
|
'token_str': ' seniausių'}, |
|
{'sequence': 'lietuvių kalba yra viena iš geriausių kalbų pasaulyje.', |
|
'score': 0.09306756407022476, |
|
'token': 5617, |
|
'token_str': ' geriausių'}, |
|
{'sequence': 'lietuvių kalba yra viena iš nedaugelio kalbų pasaulyje.', |
|
'score': 0.08187634497880936, |
|
'token': 28150, |
|
'token_str': ' nedaugelio'}]``` |
|
|
