Upload tokenizer

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- ru
 library_name: sentence-transformers
 tags:
 - sentence-transformers
@@ -9,19 +11,14 @@ tags:
 - msmarco
 datasets:
 - unicamp-dl/mmarco
-language:
-- ru
 base_model: DeepPavlov/rubert-base-cased
 widget:
-- text: >-
-    как часто нужно ходить к стоматологу? [SEP] Дядя Женя работает врачем
-    стоматологом.
+- text: как часто нужно ходить к стоматологу? [SEP] Дядя Женя работает врачем стоматологом.
   example_title: Example 1
-- text: >-
-    как часто нужно ходить к стоматологу? [SEP] Минимальный обязательный срок
-    посещения зубного врача – раз в год, но специалисты рекомендуют делать это
-    чаще – раз в полгода, а ещё лучше – раз в квартал. При таком сроке легко
-    отследить любые начинающиеся проблемы и исправить их сразу же.
+- text: как часто нужно ходить к стоматологу? [SEP] Минимальный обязательный срок
+    посещения зубного врача – раз в год, но специалисты рекомендуют делать это чаще
+    – раз в полгода, а ещё лучше – раз в квартал. При таком сроке легко отследить
+    любые начинающиеся проблемы и исправить их сразу же.
   example_title: Example 2
 ---
 

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer_config.json

@@ -0,0 +1,57 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": false,
+  "mask_token": "[MASK]",
+  "model_max_length": 1000000000000000019884624838656,
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}