dankalin commited on
Commit
94a437e
·
verified ·
1 Parent(s): 59c34ab

Add new SentenceTransformer model.

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 1024,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,713 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: intfloat/multilingual-e5-large
3
+ datasets: []
4
+ language: []
5
+ library_name: sentence-transformers
6
+ metrics:
7
+ - cosine_accuracy
8
+ - dot_accuracy
9
+ - manhattan_accuracy
10
+ - euclidean_accuracy
11
+ - max_accuracy
12
+ pipeline_tag: sentence-similarity
13
+ tags:
14
+ - sentence-transformers
15
+ - sentence-similarity
16
+ - feature-extraction
17
+ - generated_from_trainer
18
+ - dataset_size:4926
19
+ - loss:TripletLoss
20
+ widget:
21
+ - source_sentence: Какова точность структурных построений для отражающего горизонта
22
+ БВ8?
23
+ sentences:
24
+ - Вынос керна по пласту составил 209,8 м (или 26 от общего по месторождению). Из
25
+ пластов ачимовской толщи керн взят в 10 пробуренных скважинах – 230,5 м при 90
26
+ выноса керна
27
+ - В результате одномерного моделирования зарегистрированные отражающие горизонты
28
+ стратифицированы следующим образом (рис. 3
29
+ - Результаты расчета приведены ниже в табличной форме. Точность структурных построений
30
+ (традиционный способ) Таблица 3.2 Горизонт st, мс Vcp, м/с sv, м/с T0ср, с sн,
31
+ м Г 2 1855 9.28 0.97 4.8 М 2 2200 11.0 1.5 8.5 БВ0 2 2310 11.55 1.66 9.8 БВ8 2
32
+ 2415 12.08 1.82 11.3 Б 2 2515 12.58 1.97 12.6 1 Ю1 2 2530 12.65 1.98 12.8 Т 2
33
+ 2555 12.78 2.02 13.2 Т2 5 2615 13.08 2.10 15.2 Т3 5 2645 13.23 2.17 15.8 А 5 2650
34
+ 13.25 2.13 15
35
+ - source_sentence: Какова точность структурных построений для отражающего горизонта
36
+ ПК1?
37
+ sentences:
38
+ - Поскольку ОГ Ю2 коррелировался только по площади участка СП 14/12-13, то выявить
39
+ зависимость dT/dH для структурных построений по этому отражающему горизонту не
40
+ представляется возможным
41
+ - 'page_content=''Г Ач1, Ач2, Ю2, Ю4, Т3, А), не приводятся в таблице.Проведя анализ
42
+ погрешности определения абсолютных отметок структурных поверхностей по всем прослеженным
43
+ отражающим горизонтам, не трудно заметить, что не происходит существенного наращивания
44
+ ошибок по скважинным данным.Среднеквадратичные отклонения по всем опорным горизонтам
45
+ составляют около10м по верхним отражающим горизонтам и в районе 15м по отражающим
46
+ горизонтам юрского интервала разреза171(4.1)171Таблица 4.2 Точность структурных
47
+ построений
48
+
49
+ | | Скважина | None | None | ОГ БП121 | None | None | None
50
+ | None | ОГ БП141 | None | None | None | None | None | ОГ Б |
51
+ None | None | None | None | None | None | None | None |
52
+ ОГ Ю11 | None | None | None | None | None | None | None |
53
+ None | ОГ Ю12 | None | None | None | None | None | None |
54
+ None | None |
55
+
56
+ |---:|:-----------|:-------|:-------|:-----------|:-------|:----------|--------:|:-------|:-----------|---------:|:-------|:---------|--------:|:-------|:-----------|:---------|:-------|:--------|:---------|:-------|:--------|:---------|:-------|:-----------|:----------|:-------|:-------|:---------|:-------|:--------|:---------|:-------|:-----------|:---------|:-------|:-------|:---------|:-------|:-------|:---------|:-------|
57
+
58
+ | 0 | | | | | | | | | | | | | | | |
59
+ ОГ Б | | | | | | | | |
60
+ ОГ Ю11 | | | | | | | | |
61
+ ОГ Ю12 | | | | | | | |
62
+
63
+ | 1 | | | | Абсолютна | | поправка, | | |
64
+ Абсолютна | | | поправка | | | Абсолютна | | | |
65
+ поправка | | | поправка | | Абсолютна | | | |
66
+ поправка | | | поправка | | Абсолютна | | | |
67
+ поправка | | | поправка | |
68
+
69
+ | | | | | я отметка, | | м | | |
70
+ я отметка, | | | , | | | я отметка, | | | | | | | | |
71
+ я отметка, | | | | | | | | |
72
+ я отметка, | | | | | | | | |
73
+
74
+ | | | | | м | | | | |
75
+ м | | | м | | | м | | | | | | | | |
76
+ м | | | | | | | | |
77
+ м | | | | | | | | |
78
+
79
+ | 2 | | | | | | | | | | | | | | | | | | |
80
+ , м | | | , м | | | | | |
81
+ , м | | | , м | | | | | |
82
+ , м | | | , м | |
83
+
84
+ | 3 | | | | | | | | | | | | | | | | | | |
85
+ (миним. | | | (максим. | | | | | |
86
+ (миним. | | | (максим. | | | | | |
87
+ (миним. | | | (максим. | |
88
+
89
+ | 4 | | | | | | | | | | | | | | | | | | |
90
+ вариант) | | | вариант) | | | | | |
91
+ вариант) | | | вариант) | | | | | |
92
+ вариант) | | | вариант) | |
93
+
94
+ | 5 | 321_309PО | | | -2695.35 | | | -3.829
95
+ | | | -2798.72 | | | -11.1 | | |
96
+ -3168.96 | | | -11.93 | | 11.01 | | | |
97
+ -3227.584 | | | 1.116 | | | 15.971 | | |
98
+ -3282.26 | | | 1.53 | | | -0.813 | |
99
+
100
+ | 6 | 036_93R | | | -2689.36 | | | 6.278
101
+ | | | -2803.53 | | | 6.624 | | |
102
+ -3159.35 | | | | | | | | | | | | | | | | | | | | | | | | | |
103
+
104
+ | 7 | 321_306PO | | | -2634.81 | | | 2.583
105
+ | | | -2750.89 | | | 1.683 | | |
106
+ -3132.36 | | | 8.908 | | 8.10 | | | |
107
+ -3215.572 | | | -7.364 | | | 2.225 | | |
108
+ -3258.65 | | | 5.47 | | | 1.215 | |
109
+
110
+ | 8 | 321_304PO | | | -2630.36 | | | 13.695
111
+ | | | -2752.37 | | | 18.939 | | |
112
+ -3130.72 | | | 22.745 | | 18.88 | | | |
113
+ -3203.712 | | | -1.653 | | | 17.435 | | |
114
+ -3251.06 | | | -0.95 | | | -0.791 | |
115
+
116
+ | 9 | 321_301P | | | -2598.16 | | | -11.352
117
+ | | | -2726.9 | | | -4.256 | | |
118
+ -3103.45 | | | -1.253 | | -14.44 | | | |
119
+ -3209.854 | | | -7.108 | | | -19.761 | | |
120
+ -3227.86 | | | 3.088 | | | -0.272 | |
121
+
122
+ | 10 | 321_302PO | | | -2621.81 | | | -5.016
123
+ | | | -2742.59 | | | -4.162 | | |
124
+ -3102.04 | | | -4.168 | | -25.08 | | | |
125
+ -3222.447 | | | 5.432 | | | -15.737 | | |
126
+ -3246.04 | | | 5.024 | | | 0.331 | |
127
+
128
+ | 11 | 321_305PO | | | -2543.8 | | | -8.226
129
+ | | | -2669.61 | | | -12.78 | | |
130
+ -3032.52 | | | -17.205 | | 1.49 | | | |
131
+ -3131.177 | | | 6.697 | | | -0.131 | | |
132
+ -3163.86 | | | -3.096 | | | -3.624 | |
133
+
134
+ | 12 | | Ср.кв. | | | | ± 8.80 | | | | | |
135
+ ± 10.98 | | | | | | ± 14.51 | | |
136
+ ± 16.63 | | | | | | ± 6.03 | | |
137
+ ± 15.51 | | | | | | ± 3.38 | | |
138
+ ± 1.64 | | |
139
+
140
+ | 13 | | откл | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | | |
141
+
142
+ Скважина 321_309PО 036_93R 321_306PO 321_304PO 321_301P 321_302PO 321_305PO Ср.кв.
143
+ откл ОГ БП12 1 ОГ БП14 1 Абсолютна я отметка, м поправка, м Абсолютна я отметка,
144
+ м поправка , м Абсолютна я отметка, м -2695.35 -2689.36 -2634.81 -2630.36 -2598.16
145
+ -2621.81 -2543.8 -3.829 6.278 2.583 13.695 -11.352 -5.016 -8.226 -2798.72 -2803.53
146
+ -2750.89 -2752.37 -2726.9 -2742.59 -2669.61 -11.1 6.624 1.683 18.939 -4.256 -4.162
147
+ -12.78 -3168.96 -3159.35 -3132.36 -3130.72 -3103.45 -3102.04 -3032.52 ± 8.80 ±
148
+ 10.98 ОГ'''
149
+ - 2 Параметры окон для расч та атрибутов QC по сейсмограммам ОПВ и ОПП
150
+ - source_sentence: Какая методика структурных построений была использована при построении
151
+ структурных планов по отражающим горизонтам юрского комплекса?
152
+ sentences:
153
+ - На юге и юго-востоке под эрозионной поверхностью подошвы юрского комплекса регистрируются
154
+ крутопадающие волновые пакеты (Рис. 3.81). С целью получения более достоверных
155
+ структурных построений корреляция преимущественного большинства ОГ выполнена по
156
+ фазовым переходам. Горизонты М и НБВ2 прослежены по положительному экстремуму
157
+ отражения, горизонт Б – по отрицательному. Временные и структурные поверхности
158
+ ОГ использовались для палеоизохронных и палеоструктурных построений и для создания
159
+ опорных трендовых моделей при выполнении инверсионных преобразований. 3.2.3
160
+ - 'page_content=''4151.688 х 7134670500 © изза = on +#nnРис. 2.3. Фактическая схема
161
+ расположения профилей сезона 2010–2012 гг.51463606.125 x 7142067.500 © heron тои
162
+ ВЫ изо оз» тои 47оь «тако ane +11 По контуру пунктов приема $=169 кв.кмРис. 2.4.
163
+ Фактическая схема расположения профилей двух сезонов52452043 -219 = 7129857.500
164
+ + — контур обработкиРис. 2.5. Карта рельефа из предоставленных SPS-файлов двух
165
+ сезоновИнформация о методике полевых работ приведена в Таблица 2.1.53Таблица 2.1.
166
+ Описание методики полевых работ
167
+
168
+ | | №№ | Показатели | Содержание | None |
169
+
170
+ |---:|:-----|:------------------------------|:---------------------|:---------------------|
171
+
172
+ | 0 | | | Сезон 2010–2011гг | Сезон 2011–2012гг |
173
+
174
+ | 1 | 1. | Параметры регистрации: | | |
175
+
176
+ | 2 | | - аппаратура | 428 XL(Sercel) | 408 XL(Sercel) |
177
+
178
+ | 3 | | - расстояние между линиями | 300 | 300 |
179
+
180
+ | | | при��ма, м | | |
181
+
182
+ | 4 | | -расстояние между линиями | 400 | 400 |
183
+
184
+ | | | возбуждения, м | | |
185
+
186
+ | 5 | | - расстояние между ПВ, м | 50 | 50 |
187
+
188
+ | 6 | | - расстояние меду ПП, м | 50 | 50 |
189
+
190
+ | 7 | | - размер бина, м | 25 х 25 | 25 х 25 |
191
+
192
+ | 8 | | - кратность наблюдений | 56 | 56 |
193
+
194
+ | | | - минимально-допустимая | 50 | 50 |
195
+
196
+ | | | кратность в эксклюзивных | | |
197
+
198
+ | | | зонах 90% | | |
199
+
200
+ | 9 | | - система наблюдения | 3D, блоковая, | 3D, блоковая, |
201
+
202
+ | | | | ортогональная, | ортогональная, |
203
+
204
+ | | | | симметричная | симметричная |
205
+
206
+ | 10 | | - количество профилей в блоке | 16 | 16 |
207
+
208
+ | 11 | | - перекрытие линий приема в | 1 | 1 |
209
+
210
+ | | | блоке | | |
211
+
212
+ | 12 | | -количество активных каналов | 112 | 112 |
213
+
214
+ | | | на линии ПП | | |
215
+
216
+ | 13 | | - количество активных каналов | 1792 | 1792 |
217
+
218
+ | | | в блоке | | |
219
+
220
+ | 14 | | - количество рабочих | 6700 | 6700 |
221
+
222
+ | | | каналов | | |
223
+
224
+ | 15 | | - min вынос ПВ, м | 35 | 35 |
225
+
226
+ | 16 | | - max. удаления ПВ в | 3653 | 3653 |
227
+
228
+ | | | регулярной сети, м | | |
229
+
230
+ | 17 | | - кол-во ПВ на линии в блоке | 6 | 6 |
231
+
232
+ | 18 | | - тип сейсмоприемников | GS-20DX | GS-20DX |
233
+
234
+ | 19 | | - группирование | линейное 12 приборов | линейное
235
+ 12 приборов |
236
+
237
+ | | | сейсмоприемников | на базе 25 м с | на базе 25
238
+ м с |
239
+
240
+ | | | | параллельно- | параллельно- |
241
+
242
+ регулярной сети, мкол-во ПВ на линии в блоке66тип сейсмоприемниковGS-20DXGS-20DXгруппированиелинейное
243
+ 12 приборовлинейное 12 приборовсейсмоприемниковсейсмоприемниковна базе 25 м сна
244
+ базе 25 м спараллельно-параллельно-54последовательнымпоследовательным2. соединением
245
+ (6х2) соединением (6х2) - способ размотки-смотки конвейерный конвейерный - шаг
246
+ квантования, мс 2 2 - длина записи, с 6 6 - ФВЧ - - - ФНЧ 0.8F Nyquist (min 0.8F
247
+ Nyquist (min phase) phase) - режекторный фильтр выкл. выкл. - формат запис'''
248
+ - Структурные карты и схемы по ОГ юрского комплекса получены через постоянную скорость
249
+ и временные толщины от ОГ Б
250
+ - source_sentence: Выполнялся ли учет длиннопериодной статики?
251
+ sentences:
252
+ - 68 Временной разрез после итераций коррекции статики и кинематики, InLine 7578
253
+ 164 Рис. 3.69 Временной разрез до итераций коррекции статики и кинематики, XLine
254
+ Рис. 3
255
+ - Были проанализированы и опробованы различные варианты расч��та длиннопериодной
256
+ статики. В частности, статика рассчитывалась по разным горизонтам, с различными
257
+ вариантами получения Vогт и разными скоростями замещения слоя
258
+ - Графики уравнения регрессии по отражающим горизонтам НАЧ1, НАЧ3 и НАЧ4 Таблица
259
+ 4.2.4 Оценка точности структурных построений Горизонт , м Г М Б Т Т2 Т3 Т4 А Уч.
260
+ 09.03
261
+ - source_sentence: Какое значение апертуры миграции было использовано?
262
+ sentences:
263
+ - коэффициентов взаимной корреляции позволяют использовать полученные зависимости
264
+ для построения карт ФЕС (в частности – карт значений эффективных толщин ) (Граф
265
+ - Миграция выполнялась с использованием программы TIKIM до суммирования во временной
266
+ области по классам удалений. Апертура миграции составила 3000 м
267
+ - Предварительно с помощью модуля DINAT проводилась оценка углов падения для расчета
268
+ AVO-атрибутов (рис. 3.6.1). Данные содержат углы падения до 46 для неокомских
269
+ и 40 для ачимовских отложений
270
+ model-index:
271
+ - name: SentenceTransformer based on intfloat/multilingual-e5-large
272
+ results:
273
+ - task:
274
+ type: triplet
275
+ name: Triplet
276
+ dataset:
277
+ name: e5 triplet eval
278
+ type: e5_triplet_eval
279
+ metrics:
280
+ - type: cosine_accuracy
281
+ value: 0.9642857142857143
282
+ name: Cosine Accuracy
283
+ - type: dot_accuracy
284
+ value: 0.03571428571428571
285
+ name: Dot Accuracy
286
+ - type: manhattan_accuracy
287
+ value: 0.9642857142857143
288
+ name: Manhattan Accuracy
289
+ - type: euclidean_accuracy
290
+ value: 0.9642857142857143
291
+ name: Euclidean Accuracy
292
+ - type: max_accuracy
293
+ value: 0.9642857142857143
294
+ name: Max Accuracy
295
+ ---
296
+
297
+ # SentenceTransformer based on intfloat/multilingual-e5-large
298
+
299
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large). It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
300
+
301
+ ## Model Details
302
+
303
+ ### Model Description
304
+ - **Model Type:** Sentence Transformer
305
+ - **Base model:** [intfloat/multilingual-e5-large](https://huggingface.co/intfloat/multilingual-e5-large) <!-- at revision ab10c1a7f42e74530fe7ae5be82e6d4f11a719eb -->
306
+ - **Maximum Sequence Length:** 512 tokens
307
+ - **Output Dimensionality:** 1024 tokens
308
+ - **Similarity Function:** Cosine Similarity
309
+ <!-- - **Training Dataset:** Unknown -->
310
+ <!-- - **Language:** Unknown -->
311
+ <!-- - **License:** Unknown -->
312
+
313
+ ### Model Sources
314
+
315
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
316
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
317
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
318
+
319
+ ### Full Model Architecture
320
+
321
+ ```
322
+ SentenceTransformer(
323
+ (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
324
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
325
+ (2): Normalize()
326
+ )
327
+ ```
328
+
329
+ ## Usage
330
+
331
+ ### Direct Usage (Sentence Transformers)
332
+
333
+ First install the Sentence Transformers library:
334
+
335
+ ```bash
336
+ pip install -U sentence-transformers
337
+ ```
338
+
339
+ Then you can load this model and run inference.
340
+ ```python
341
+ from sentence_transformers import SentenceTransformer
342
+
343
+ # Download from the 🤗 Hub
344
+ model = SentenceTransformer("dankalin/multilingual-e5-large-hack")
345
+ # Run inference
346
+ sentences = [
347
+ 'Какое значение апертуры миграции было использовано?',
348
+ 'Миграция выполнялась с использованием программы TIKIM до суммирования во временной области по классам удалений. Апертура миграции составила 3000 м',
349
+ 'коэффициентов взаимной корреляции позволяют использовать полученные зависимости для построения карт ФЕС (в час��ности – карт значений эффективных толщин ) (Граф',
350
+ ]
351
+ embeddings = model.encode(sentences)
352
+ print(embeddings.shape)
353
+ # [3, 1024]
354
+
355
+ # Get the similarity scores for the embeddings
356
+ similarities = model.similarity(embeddings, embeddings)
357
+ print(similarities.shape)
358
+ # [3, 3]
359
+ ```
360
+
361
+ <!--
362
+ ### Direct Usage (Transformers)
363
+
364
+ <details><summary>Click to see the direct usage in Transformers</summary>
365
+
366
+ </details>
367
+ -->
368
+
369
+ <!--
370
+ ### Downstream Usage (Sentence Transformers)
371
+
372
+ You can finetune this model on your own dataset.
373
+
374
+ <details><summary>Click to expand</summary>
375
+
376
+ </details>
377
+ -->
378
+
379
+ <!--
380
+ ### Out-of-Scope Use
381
+
382
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
383
+ -->
384
+
385
+ ## Evaluation
386
+
387
+ ### Metrics
388
+
389
+ #### Triplet
390
+ * Dataset: `e5_triplet_eval`
391
+ * Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
392
+
393
+ | Metric | Value |
394
+ |:-------------------|:-----------|
395
+ | cosine_accuracy | 0.9643 |
396
+ | dot_accuracy | 0.0357 |
397
+ | manhattan_accuracy | 0.9643 |
398
+ | euclidean_accuracy | 0.9643 |
399
+ | **max_accuracy** | **0.9643** |
400
+
401
+ <!--
402
+ ## Bias, Risks and Limitations
403
+
404
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
405
+ -->
406
+
407
+ <!--
408
+ ### Recommendations
409
+
410
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
411
+ -->
412
+
413
+ ## Training Details
414
+
415
+ ### Training Dataset
416
+
417
+ #### Unnamed Dataset
418
+
419
+
420
+ * Size: 4,926 training samples
421
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
422
+ * Approximate statistics based on the first 1000 samples:
423
+ | | anchor | positive | negative |
424
+ |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
425
+ | type | string | string | string |
426
+ | details | <ul><li>min: 9 tokens</li><li>mean: 20.24 tokens</li><li>max: 41 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 129.99 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 93.1 tokens</li><li>max: 512 tokens</li></ul> |
427
+ * Samples:
428
+ | anchor | positive | negative |
429
+ |:-----------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
430
+ | <code>Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта А?</code> | <code>В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оцен��а точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0</code> | <code>Точность структурных построений Горизонт НБВ7 НБВ4 НБВ3 М max, м 17 15 19 9 min, м 0 0 0 0 max, м min, м 18 7 10 8 1 0 0 0 , м 8 8 8 4 4 Структурные карты (схемы) по всем отражающим горизонтам</code> |
431
+ | <code>Какова точность структурных построений для отражающего горизонта Б?</code> | <code>2 Точность структурных построений ОГ АП5 ОГ БП9 1 ОГ БП10 0 Абсолютная отметка, м поправка, м Абсолютная отметка, м поправка, м Абсолютная отметка, м поправка, м 6.51 10.51 9.65 ОГ Б поправка , м (миним. вариант) -11.93 поправка , м (максим. вариант) 11.01 Абсолютна я отметка, м 3227.584 1 ОГ Ю1 поправка , м (миним. вариант) 1.116 поправка , м (максим. вариант) 15.971 Абсолютна я отметка, м 3282.26 2 ОГ Ю1 поправка , м (миним. вариант) 1.53 поправка , м (максим. вариант) -0.813 14.51 16.63 6.03 15.51 3.38 1.64 172 4</code> | <code>Отражающий горизонт Г является реперным горизонтом и коррелируется без затруднений по всему Валынтойскому кубу сейсморазведки 3D</code> |
432
+ | <code>В скольки скважинах есть данных акустического каротажа?</code> | <code>Комплекс ГИС, выполненный в скважинах 93Р и 309ПО Скв</code> | <code>Проведены сейсморазведочные работы 3Д на Валынтойской площади в объ ме 300 квадратных километров. Полевые работы ВСП в скважине 309ПО Валынтойской площади</code> |
433
+ * Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
434
+ ```json
435
+ {
436
+ "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
437
+ "triplet_margin": 5
438
+ }
439
+ ```
440
+
441
+ ### Evaluation Dataset
442
+
443
+ #### Unnamed Dataset
444
+
445
+
446
+ * Size: 1,232 evaluation samples
447
+ * Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
448
+ * Approximate statistics based on the first 1000 samples:
449
+ | | anchor | positive | negative |
450
+ |:--------|:----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
451
+ | type | string | string | string |
452
+ | details | <ul><li>min: 9 tokens</li><li>mean: 20.38 tokens</li><li>max: 41 tokens</li></ul> | <ul><li>min: 21 tokens</li><li>mean: 132.2 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 2 tokens</li><li>mean: 86.95 tokens</li><li>max: 512 tokens</li></ul> |
453
+ * Samples:
454
+ | anchor | positive | negative |
455
+ |:-------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
456
+ | <code>Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта А?</code> | <code>В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0</code> | <code>Бирюзовой Вертикальны й 1:2 500 Структурная карта по отражающему горизонту А (подошва юрского комплекса) Карта изохрон по отражающему горизонту А Структурная карта по отражающему горизонту Т3(ЮВ10)</code> |
457
+ | <code>Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта ТЮ2?</code> | <code>В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0</code> | <code>Построение и анализ карт средних толщин между полученными и интервальных также карт точности структурных структурными поверхностями</code> |
458
+ | <code>Сколько скважин было выбрано для обоснования выделения коллекторов?</code> | <code>После анализа каротажных данных для обоснования выделения коллекторов были отобраны 15 скважин Критериями их отбора послужило наличие в комплексе ГИС акустического каротажа по продольным волнам</code> | <code>После анализа каротажных данных для обоснования выделения коллекторов были отобраны 15 скважин Критериями их отбора послужило наличие в комплексе ГИС акустического каротажа по продольным волнам хорошего и удовлетворительного качества, а также близкое расположение скважин к сейсмическим профилям. Кроме того, в статистической обработке принимали участие ещ две скважины: 115 и 122, поскольку в них записан акустический каротаж по поперечной волне</code> |
459
+ * Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
460
+ ```json
461
+ {
462
+ "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
463
+ "triplet_margin": 5
464
+ }
465
+ ```
466
+
467
+ ### Training Hyperparameters
468
+ #### Non-Default Hyperparameters
469
+
470
+ - `eval_strategy`: steps
471
+ - `per_device_train_batch_size`: 2
472
+ - `per_device_eval_batch_size`: 2
473
+ - `gradient_accumulation_steps`: 64
474
+ - `learning_rate`: 2e-05
475
+ - `warmup_ratio`: 0.1
476
+ - `bf16`: True
477
+ - `batch_sampler`: no_duplicates
478
+
479
+ #### All Hyperparameters
480
+ <details><summary>Click to expand</summary>
481
+
482
+ - `overwrite_output_dir`: False
483
+ - `do_predict`: False
484
+ - `eval_strategy`: steps
485
+ - `prediction_loss_only`: True
486
+ - `per_device_train_batch_size`: 2
487
+ - `per_device_eval_batch_size`: 2
488
+ - `per_gpu_train_batch_size`: None
489
+ - `per_gpu_eval_batch_size`: None
490
+ - `gradient_accumulation_steps`: 64
491
+ - `eval_accumulation_steps`: None
492
+ - `torch_empty_cache_steps`: None
493
+ - `learning_rate`: 2e-05
494
+ - `weight_decay`: 0.0
495
+ - `adam_beta1`: 0.9
496
+ - `adam_beta2`: 0.999
497
+ - `adam_epsilon`: 1e-08
498
+ - `max_grad_norm`: 1.0
499
+ - `num_train_epochs`: 3
500
+ - `max_steps`: -1
501
+ - `lr_scheduler_type`: linear
502
+ - `lr_scheduler_kwargs`: {}
503
+ - `warmup_ratio`: 0.1
504
+ - `warmup_steps`: 0
505
+ - `log_level`: passive
506
+ - `log_level_replica`: warning
507
+ - `log_on_each_node`: True
508
+ - `logging_nan_inf_filter`: True
509
+ - `save_safetensors`: True
510
+ - `save_on_each_node`: False
511
+ - `save_only_model`: False
512
+ - `restore_callback_states_from_checkpoint`: False
513
+ - `no_cuda`: False
514
+ - `use_cpu`: False
515
+ - `use_mps_device`: False
516
+ - `seed`: 42
517
+ - `data_seed`: None
518
+ - `jit_mode_eval`: False
519
+ - `use_ipex`: False
520
+ - `bf16`: True
521
+ - `fp16`: False
522
+ - `fp16_opt_level`: O1
523
+ - `half_precision_backend`: auto
524
+ - `bf16_full_eval`: False
525
+ - `fp16_full_eval`: False
526
+ - `tf32`: None
527
+ - `local_rank`: 1
528
+ - `ddp_backend`: None
529
+ - `tpu_num_cores`: None
530
+ - `tpu_metrics_debug`: False
531
+ - `debug`: []
532
+ - `dataloader_drop_last`: True
533
+ - `dataloader_num_workers`: 0
534
+ - `dataloader_prefetch_factor`: None
535
+ - `past_index`: -1
536
+ - `disable_tqdm`: False
537
+ - `remove_unused_columns`: True
538
+ - `label_names`: None
539
+ - `load_best_model_at_end`: False
540
+ - `ignore_data_skip`: False
541
+ - `fsdp`: []
542
+ - `fsdp_min_num_params`: 0
543
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
544
+ - `fsdp_transformer_layer_cls_to_wrap`: None
545
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
546
+ - `deepspeed`: None
547
+ - `label_smoothing_factor`: 0.0
548
+ - `optim`: adamw_torch
549
+ - `optim_args`: None
550
+ - `adafactor`: False
551
+ - `group_by_length`: False
552
+ - `length_column_name`: length
553
+ - `ddp_find_unused_parameters`: None
554
+ - `ddp_bucket_cap_mb`: None
555
+ - `ddp_broadcast_buffers`: False
556
+ - `dataloader_pin_memory`: True
557
+ - `dataloader_persistent_workers`: False
558
+ - `skip_memory_metrics`: True
559
+ - `use_legacy_prediction_loop`: False
560
+ - `push_to_hub`: False
561
+ - `resume_from_checkpoint`: None
562
+ - `hub_model_id`: None
563
+ - `hub_strategy`: every_save
564
+ - `hub_private_repo`: False
565
+ - `hub_always_push`: False
566
+ - `gradient_checkpointing`: False
567
+ - `gradient_checkpointing_kwargs`: None
568
+ - `include_inputs_for_metrics`: False
569
+ - `eval_do_concat_batches`: True
570
+ - `fp16_backend`: auto
571
+ - `push_to_hub_model_id`: None
572
+ - `push_to_hub_organization`: None
573
+ - `mp_parameters`:
574
+ - `auto_find_batch_size`: False
575
+ - `full_determinism`: False
576
+ - `torchdynamo`: None
577
+ - `ray_scope`: last
578
+ - `ddp_timeout`: 1800
579
+ - `torch_compile`: False
580
+ - `torch_compile_backend`: None
581
+ - `torch_compile_mode`: None
582
+ - `dispatch_batches`: None
583
+ - `split_batches`: None
584
+ - `include_tokens_per_second`: False
585
+ - `include_num_input_tokens_seen`: False
586
+ - `neftune_noise_alpha`: None
587
+ - `optim_target_modules`: None
588
+ - `batch_eval_metrics`: False
589
+ - `eval_on_start`: False
590
+ - `eval_use_gather_object`: False
591
+ - `batch_sampler`: no_duplicates
592
+ - `multi_dataset_batch_sampler`: proportional
593
+
594
+ </details>
595
+
596
+ ### Training Logs
597
+ | Epoch | Step | Training Loss | loss | e5_triplet_eval_max_accuracy |
598
+ |:------:|:----:|:-------------:|:------:|:----------------------------:|
599
+ | 0 | 0 | - | - | 0.8166 |
600
+ | 0.0520 | 1 | 4.9631 | - | - |
601
+ | 0.1040 | 2 | 4.96 | - | - |
602
+ | 0.1560 | 3 | 4.9406 | 4.9202 | 0.8799 |
603
+ | 0.2080 | 4 | 4.9321 | - | - |
604
+ | 0.2600 | 5 | 4.9293 | - | - |
605
+ | 0.3119 | 6 | 4.91 | 4.8456 | 0.9237 |
606
+ | 0.3639 | 7 | 4.8801 | - | - |
607
+ | 0.4159 | 8 | 4.8692 | - | - |
608
+ | 0.4679 | 9 | 4.838 | 4.7461 | 0.9432 |
609
+ | 0.5199 | 10 | 4.8053 | - | - |
610
+ | 0.5719 | 11 | 4.7793 | - | - |
611
+ | 0.6239 | 12 | 4.7584 | 4.6476 | 0.9489 |
612
+ | 0.6759 | 13 | 4.6925 | - | - |
613
+ | 0.7279 | 14 | 4.6888 | - | - |
614
+ | 0.7799 | 15 | 4.6673 | 4.5346 | 0.9554 |
615
+ | 0.8318 | 16 | 4.626 | - | - |
616
+ | 0.8838 | 17 | 4.6053 | - | - |
617
+ | 0.9358 | 18 | 4.5582 | 4.4151 | 0.9570 |
618
+ | 0.9878 | 19 | 4.5486 | - | - |
619
+ | 1.0398 | 20 | 4.4967 | - | - |
620
+ | 1.0918 | 21 | 4.4503 | 4.2993 | 0.9667 |
621
+ | 1.1438 | 22 | 4.3997 | - | - |
622
+ | 1.1958 | 23 | 4.326 | - | - |
623
+ | 1.2478 | 24 | 4.3163 | 4.1739 | 0.9643 |
624
+ | 1.2998 | 25 | 4.2882 | - | - |
625
+ | 1.3517 | 26 | 4.1748 | - | - |
626
+ | 1.4037 | 27 | 4.1791 | 4.0528 | 0.9594 |
627
+ | 1.4557 | 28 | 4.1503 | - | - |
628
+ | 1.5077 | 29 | 4.1213 | - | - |
629
+ | 1.5597 | 30 | 4.049 | 3.9291 | 0.9586 |
630
+ | 1.6117 | 31 | 4.0259 | - | - |
631
+ | 1.6637 | 32 | 3.9762 | - | - |
632
+ | 1.7157 | 33 | 3.9038 | 3.8741 | 0.9651 |
633
+ | 1.7677 | 34 | 3.9605 | - | - |
634
+ | 1.8197 | 35 | 3.9297 | - | - |
635
+ | 1.8716 | 36 | 3.8387 | 3.7686 | 0.9619 |
636
+ | 1.9236 | 37 | 3.871 | - | - |
637
+ | 1.9756 | 38 | 3.8464 | - | - |
638
+ | 2.0276 | 39 | 3.7463 | 3.7241 | 0.9643 |
639
+ | 2.0796 | 40 | 3.8166 | - | - |
640
+ | 2.1316 | 41 | 3.801 | - | - |
641
+ | 2.1836 | 42 | 3.6812 | 3.6745 | 0.9610 |
642
+ | 2.2356 | 43 | 3.6979 | - | - |
643
+ | 2.2876 | 44 | 3.7102 | - | - |
644
+ | 2.3396 | 45 | 3.648 | 3.6470 | 0.9635 |
645
+ | 2.3916 | 46 | 3.6465 | - | - |
646
+ | 2.4435 | 47 | 3.6907 | - | - |
647
+ | 2.4955 | 48 | 3.6242 | 3.5768 | 0.9635 |
648
+ | 2.5475 | 49 | 3.6351 | - | - |
649
+ | 2.5995 | 50 | 3.659 | - | - |
650
+ | 2.6515 | 51 | 3.6246 | 3.5535 | 0.9643 |
651
+ | 2.7035 | 52 | 3.5615 | - | - |
652
+ | 2.7555 | 53 | 3.5733 | - | - |
653
+ | 2.8075 | 54 | 3.577 | 3.5572 | 0.9667 |
654
+ | 2.8595 | 55 | 3.5187 | - | - |
655
+ | 2.9115 | 56 | 3.6122 | - | - |
656
+ | 2.9634 | 57 | 3.5786 | 3.5517 | 0.9643 |
657
+
658
+
659
+ ### Framework Versions
660
+ - Python: 3.10.12
661
+ - Sentence Transformers: 3.0.1
662
+ - Transformers: 4.43.3
663
+ - PyTorch: 2.4.0+cu121
664
+ - Accelerate: 0.33.0
665
+ - Datasets: 2.20.0
666
+ - Tokenizers: 0.19.1
667
+
668
+ ## Citation
669
+
670
+ ### BibTeX
671
+
672
+ #### Sentence Transformers
673
+ ```bibtex
674
+ @inproceedings{reimers-2019-sentence-bert,
675
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
676
+ author = "Reimers, Nils and Gurevych, Iryna",
677
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
678
+ month = "11",
679
+ year = "2019",
680
+ publisher = "Association for Computational Linguistics",
681
+ url = "https://arxiv.org/abs/1908.10084",
682
+ }
683
+ ```
684
+
685
+ #### TripletLoss
686
+ ```bibtex
687
+ @misc{hermans2017defense,
688
+ title={In Defense of the Triplet Loss for Person Re-Identification},
689
+ author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
690
+ year={2017},
691
+ eprint={1703.07737},
692
+ archivePrefix={arXiv},
693
+ primaryClass={cs.CV}
694
+ }
695
+ ```
696
+
697
+ <!--
698
+ ## Glossary
699
+
700
+ *Clearly define terms in order to be accessible across audiences.*
701
+ -->
702
+
703
+ <!--
704
+ ## Model Card Authors
705
+
706
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
707
+ -->
708
+
709
+ <!--
710
+ ## Model Card Contact
711
+
712
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
713
+ -->
config.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/home/dkalin/train_encoder/models/multilingual-e5-large_triplet",
3
+ "architectures": [
4
+ "XLMRobertaModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_id": 2,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 1024,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 4096,
15
+ "layer_norm_eps": 1e-05,
16
+ "max_position_embeddings": 514,
17
+ "model_type": "xlm-roberta",
18
+ "num_attention_heads": 16,
19
+ "num_hidden_layers": 24,
20
+ "output_past": true,
21
+ "pad_token_id": 1,
22
+ "position_embedding_type": "absolute",
23
+ "torch_dtype": "float32",
24
+ "transformers_version": "4.44.2",
25
+ "type_vocab_size": 1,
26
+ "use_cache": true,
27
+ "vocab_size": 250002
28
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.0.1",
4
+ "transformers": "4.44.2",
5
+ "pytorch": "2.4.1+cu121"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": null
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f286649152d23087266fbd7c5fdf2a787c6ec0b4249dd36b6d629b932f36a3b1
3
+ size 2239607176
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 512,
3
+ "do_lower_case": false
4
+ }
sentencepiece.bpe.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
3
+ size 5069051
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
3
+ size 17082987
tokenizer_config.json ADDED
@@ -0,0 +1,61 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "eos_token": "</s>",
48
+ "mask_token": "<mask>",
49
+ "max_length": 512,
50
+ "model_max_length": 512,
51
+ "pad_to_multiple_of": null,
52
+ "pad_token": "<pad>",
53
+ "pad_token_type_id": 0,
54
+ "padding_side": "right",
55
+ "sep_token": "</s>",
56
+ "stride": 0,
57
+ "tokenizer_class": "XLMRobertaTokenizer",
58
+ "truncation_side": "right",
59
+ "truncation_strategy": "longest_first",
60
+ "unk_token": "<unk>"
61
+ }