Update README.md

README.md

@@ -19,7 +19,8 @@ tags:
   <i class="highlight-container"><b class="highlight">jerteh-125</b></i> — 
 BERT model specijalno obučen za srpski jezik.</h4>
 
-<img src="cover.png" style="width:100%">
+<img src="cover.png" style="width:100%"
+>
 
 <div id="zastava">
   <div class="grb">
@@ -59,17 +60,34 @@ kao i korpus [PDRS 1.0](https://www.clarin.si/repository/xmlui/handle/11356/1752
 ## Upotreba - vektorizacija
 
 ```python
->>> from transformers import pipeline
->>> generator = pipeline('fill-mask', model='jerteh/jerteh-125')
->>> unmasker("Kada bi čovek znao gde će pasti on bi<mask>.")
+>>> from transformers import AutoTokenizer, AutoModelForMaskedLM
+>>> from torch import LongTensor, no_grad
+>>> from scipy import spatial
+
+>>> tokenizer = AutoTokenizer.from_pretrained('bert modeli/bertovic-base')
+>>> model = AutoModelForMaskedLM.from_pretrained('bert modeli/bertovic-base', output_hidden_states=True)
+
+>>> x = " pas"
+>>> y = " mačka"
+>>> z = " svemir"
+
+>>> tensor_x = LongTensor(tokenizer.encode(x, add_special_tokens=False)).unsqueeze(0)
+>>> tensor_y = LongTensor(tokenizer.encode(y, add_special_tokens=False)).unsqueeze(0)
+>>> tensor_z = LongTensor(tokenizer.encode(z, add_special_tokens=False)).unsqueeze(0)
+
+>>> model.eval()
+>>> with no_grad():
+>>>     vektor_x = model(input_ids=tensor_x).hidden_states[-1].squeeze()
+>>>     vektor_y = model(input_ids=tensor_y).hidden_states[-1].squeeze()
+>>>     vektor_z = model(input_ids=tensor_z).hidden_states[-1].squeeze()
+
+>>> print(spatial.distance.cosine(vektor_x, vektor_y))
+>>> print(spatial.distance.cosine(vektor_x, vektor_z))
 ```
 
 ```
-[{'score': 0.16073498129844666, 'token': 11379, 'token_str': ' pao', 'sequence': 'Kada bi čovek znao gde će pasti on bi pao.'},
- {'score': 0.14656540751457214, 'token': 10799, 'token_str': ' umro', 'sequence': 'Kada bi čovek znao gde će pasti on bi umro.'},
- {'score': 0.11459200084209442, 'token': 7797, 'token_str': ' otišao', 'sequence': 'Kada bi čovek znao gde će pasti on bi otišao.'},
- {'score': 0.061787571758031845, 'token': 7103, 'token_str': ' znao', 'sequence': 'Kada bi čovek znao gde će pasti on bi znao.'},
- {'score': 0.0532902330160141, 'token': 998, 'token_str': ' rekao', 'sequence': 'Kada bi čovek znao gde će pasti on bi rekao.'}]
+0.09954947233200073
+0.21845555305480957
 ```
 
 <h4>U slučaju potrebe za većim modelom, pogledajte <a href="https://huggingface.co/jerteh/jerteh-355" class="highlight-container">