File size: 33,621 Bytes
fa73df0
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:421
- loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-small
widget:
- source_sentence: IIIC no armonizadas
  sentences:
  - non-UCITS
  - Es un tipo de interés teórico a un año, que permite establecer comparaciones entre
    activos con distintos plazos de vencimiento y condiciones contractuales. Mediante
    una fórmula matemática, se obtiene el tipo anual que, en un momento dado, igualaría
    el valor de la inversión con el valor actual de todos los flujos previstos de
    cobros y pagos (cupones, amortización del principal, etc).
  - Es una propuesta de negociación, gestionada en última instancia por un miembro
    del mercado, que se realiza bien a solicitud del inversor (cuenta de terceros)
    o por cuenta propia de una entidad. Debe especificar como mínimo el valor sobre
    el que se opera, el tipo de transacción (compra o venta), la cantidad y el precio.
- source_sentence: Utilities
  sentences:
  - Denominación genérica de aquellas compañías que ofrecen servicios públicos como
    electricidad, gas, agua o autopistas.
  - El código CFI está compuesto por seis caracteres alfabéticos y permite diferenciar
    valores e instrumentos financieros atendiendo a sus principales características.
    Está pensado para que los procesos informáticos tengan la posibilidad de clasificar
    valores e instrumentos financieros de forma automática. En España, los códigos
    CFI son asignados por la Agencia Nacional de Codificación de Valores, dependiente
    de la Comisión Nacional del Mercado de Valores (CNMV).
  - Es el efecto que se produce en los mercados cuando los inversores compran o venden
    un activo (haciendo que su precio suba o baje), debido a las expectativas conocidas
    en relación con algún acontecimiento o noticia que aún no ha sucedido. Si al final
    ese hecho ocurre efectivamente, en teoría no debería tener efecto en los precios
    porque los mercados ya lo han ´descontado´.
- source_sentence: Tasa interna de rentabilidad
  sentences:
  - Fecha en la que expira un contrato financiero o en la que se devuelve el principal
    de un valor.
  - Estimación de la solvencia de una compañía, realizada por entidades especializadas.
    Tal valoración se plasma en el rating, que permite a los inversores evaluar el
    riesgo de las emisiones y de la propia empresa, generalmente distinguiendo entre
    las emisiones a corto y a largo plazo. Ver agencia de calificación creditica y
    Rating.
  - TIR
- source_sentence: Lock-up
  sentences:
  - Posibilidad que tienen los partícipes de un fondo de inversión de reembolsar sus
    participaciones sin abonar comisión de reembolso, durante un plazo determinado.
    La gestora ha de comunicar a los partícipes el otorgamiento de este derecho cuando
    se produzcan determinadas modificaciones sustanciales en las características del
    fondo o en los derechos del inversor (cambios en la política de inversión, elevación
    de comisiones, etc.).
  - Es el resultado de una sociedad (obtenido por diferencia entre ingresos y gastos),
    antes de restar las amortizaciones y los impuestos.
  - Periodo durante el cual no es posible realizar una determinada operación. Los
    motivos y características de estos “periodos de cierre” varían según el tipo de
    producto. Por ejemplo, en las ofertas públicas de venta (OPV) algunos accionistas
    pueden firman un compromiso de lock-up, por el que se obligan a mantener sus acciones
    durante un periodo determinado; el objetivo es facilitar la colocación entre el
    público, eliminando la incertidumbre y el descenso de precios que se produciría
    si algún accionista significativo optara por deshacerse de sus acciones. En el
    ámbito de los fondos de inversión, el lock-up es el periodo durante el que se
    impide la entrada de nuevos partícipes o la realización de inversiones adicionales
    en un fondo (situación que suele darse en los fondos de inversión libre o hedge
    funds, si así lo establece el folleto); el motivo del cierre es que el fondo ya
    habría alcanzado el volumen de patrimonio idóneo para una gestión eficiente y
    un aumento del mismo podría suponer, a juicio del gestor, una menor expectativa
    de rentabilidad para los partícipes.
- source_sentence: Riesgo de liquidez
  sentences:
  - Adquisición regular de acciones de una empresa, por el procedimiento de suscribir
    acciones en todas las ampliaciones de capital.
  - Hacer efectivas las ganancias o pérdidas acumuladas con una inversión, mediante
    la venta de los valores. Mientras no se deshaga la inversión las plusvalías o
    minusvalías permanecen latentes, pero con la venta los resultados (positivos o
    negativos) se materializan y se convierten en definitivos, desplegando los correspondientes
    efectos fiscales.
  - Posible penalización en el precio de un valor, en caso de que se necesite deshacer
    la inversión para recuperar el capital con rapidez. Con carácter general, puede
    decirse que los valores cotizados son más líquidos que los que no cotizan, ya
    que hay más posibilidades de encontrar contrapartidas a un precio razonable (en
    ocasiones los no cotizados incorporan algún tipo de cláusula o garantía de liquidez
    por parte del emisor o un tercero, aunque no existe transparencia en cuanto al
    precio). Cuanto menos líquido es un valor, mayor es la disminución en el precio
    que debe aceptar el inversor para vender sus valores. En casos de iliquidez extrema,
    puede llegar a resultar imposible recuperar la inversión en el momento deseado.
datasets:
- prodriguezg01/embedding-finetuning-glosario
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-small
  results:
  - task:
      type: triplet
      name: Triplet
    dataset:
      name: validacionCNMV
      type: validacionCNMV
    metrics:
    - type: cosine_accuracy
      value: 1.0
      name: Cosine Accuracy
---

# SentenceTransformer based on intfloat/multilingual-e5-small

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) on the [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) <!-- at revision c007d7ef6fd86656326059b28395a7a03a7c5846 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 384 dimensions
- **Similarity Function:** Cosine Similarity
- **Training Dataset:**
    - [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario)
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("prodriguezg01/multilingual-e5-smallV2")
# Run inference
sentences = [
    'Riesgo de liquidez',
    'Posible penalización en el precio de un valor, en caso de que se necesite deshacer la inversión para recuperar el capital con rapidez. Con carácter general, puede decirse que los valores cotizados son más líquidos que los que no cotizan, ya que hay más posibilidades de encontrar contrapartidas a un precio razonable (en ocasiones los no cotizados incorporan algún tipo de cláusula o garantía de liquidez por parte del emisor o un tercero, aunque no existe transparencia en cuanto al precio). Cuanto menos líquido es un valor, mayor es la disminución en el precio que debe aceptar el inversor para vender sus valores. En casos de iliquidez extrema, puede llegar a resultar imposible recuperar la inversión en el momento deseado.',
    'Adquisición regular de acciones de una empresa, por el procedimiento de suscribir acciones en todas las ampliaciones de capital.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

## Evaluation

### Metrics

#### Triplet

* Dataset: `validacionCNMV`
* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)

| Metric              | Value   |
|:--------------------|:--------|
| **cosine_accuracy** | **1.0** |

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Dataset

#### embedding-finetuning-glosario

* Dataset: [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) at [8dddd3e](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario/tree/8dddd3e5bd791b7fa439da4103d3dd7898f5372e)
* Size: 421 training samples
* Columns: <code>Termino</code>, <code>Definicion</code>, and <code>Def_Neg</code>
* Approximate statistics based on the first 421 samples:
  |         | Termino                                                                          | Definicion                                                                         | Def_Neg                                                                            |
  |:--------|:---------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
  | type    | string                                                                           | string                                                                             | string                                                                             |
  | details | <ul><li>min: 3 tokens</li><li>mean: 6.39 tokens</li><li>max: 23 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 77.24 tokens</li><li>max: 340 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 79.65 tokens</li><li>max: 340 tokens</li></ul> |
* Samples:
  | Termino                                 | Definicion                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | Def_Neg                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
  |:----------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>Orden de ejecutar o anular</code> | <code>Orden bursátil que se ejecuta de forma instantánea por la cantidad que resulte posible, según los precios del mercado; el sistema rechaza el resto del volumen de la orden. Ver Orden bursátil.</code>                                                                                                                                                                                                                                                                                                                | <code>Fondos y sociedades de inversión, domiciliadas en un Estado miembro de la Unión Europea y sujetas a la Directiva europea que regula las instituciones de inversión colectiva. Pueden comercializarse en España entre los inversores particulares, previa inscripción en los registros de la CNMV y a través de entidades comercializadoras también registradas en este organismo.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
  | <code>ROA</code>                        | <code>Ratio que indica la rentabilidad de una empresa en relación con su activo total; indica el rendimiento que se está obteniendo de los activos. Se calcula dividiendo el beneficio neto entre el activo total.</code>                                                                                                                                                                                                                                                                                                   | <code>Contratos en los que un inversor y una entidad financiera acuerdan intercambiarse la diferencia entre el precio de compra y el precio de venta de un determinado activo subyacente (valores negociables, índices, divisas…). En esta operativa no es necesario desembolsar la totalidad del capital que se necesitaría para comprar o vender directamente el activo subyacente, por lo que la inversión presentará un determinado nivel de apalancamiento (que dependerá del importe que los inversores deban depositar en concepto de garantía para cada operación).Además, suele decirse que los CFD no tienen vencimiento, ya que si bien se liquidan cada día, el inversor tiene la posibilidad de prorrogar la posición abierta los días que desee. En caso de que se opte por esta posibilidad, es habitual que la entidad exija el pago de unos intereses por las posiciones compradas (en concepto de financiación) y cabe la posibilidad de que retribuya las posiciones vendidas (generalmente a un tipo de interés menor). Po...</code> |
  | <code>Acción rescatable</code>          | <code>Poco habituales en el mercado español. Son aquellas acciones que pueden ser amortizadas por la sociedad emisora a iniciativa de ésta, de los accionistas o de ambos. En los acuerdos de emisión se fijan las condiciones para el ejercicio del rescate. En el caso de que sólo el emisor tenga el derecho de rescate, éste no podrá ejercitarse sino a partir de los tres años de la emisión de las acciones. Las acciones rescatables deberán ser íntegramente desembolsadas en el momento de la suscripción.</code> | <code>OPV</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Evaluation Dataset

#### embedding-finetuning-glosario

* Dataset: [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) at [8dddd3e](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario/tree/8dddd3e5bd791b7fa439da4103d3dd7898f5372e)
* Size: 54 evaluation samples
* Columns: <code>Termino</code>, <code>Definicion</code>, and <code>Def_Neg</code>
* Approximate statistics based on the first 54 samples:
  |         | Termino                                                                          | Definicion                                                                        | Def_Neg                                                                            |
  |:--------|:---------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
  | type    | string                                                                           | string                                                                            | string                                                                             |
  | details | <ul><li>min: 3 tokens</li><li>mean: 7.11 tokens</li><li>max: 19 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 78.2 tokens</li><li>max: 236 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 72.33 tokens</li><li>max: 209 tokens</li></ul> |
* Samples:
  | Termino                         | Definicion                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                | Def_Neg                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
  |:--------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
  | <code>TAE</code>                | <code>Es un tipo de interés teórico a un año, que permite establecer comparaciones entre activos con distintos plazos de vencimiento y condiciones contractuales. Mediante una fórmula matemática, se obtiene el tipo anual que, en un momento dado, igualaría el valor de la inversión con el valor actual de todos los flujos previstos de cobros y pagos (cupones, amortización del principal, etc).</code>                                                                                                                                                                                                                                            | <code>Término con el que se hace referencia al cumplimiento de una orden bursátil de compra o venta.</code>                                                                                                                                                                                                                                                                                                                                                 |
  | <code>Contratos tipo</code>     | <code>Son los modelos de contrato que han de utilizar las empresas que prestan servicios de inversión para formalizar las relaciones con sus clientes, en determinadas operaciones que por su carácter habitual alcanzan una difusión masiva.</code>                                                                                                                                                                                                                                                                                                                                                                                                      | <code>Reducción del valor de un bien. En el caso de elementos físicos, suele deberse al paso del tiempo o a los efectos del uso (por ejemplo, la maquinaria de una fábrica).</code>                                                                                                                                                                                                                                                                         |
  | <code>Operación acordeón</code> | <code>Operación societaria especial, que consiste en una reducción y ampliación de capital simultáneas, con el fin de sanear económicamente una sociedad. En primer lugar, el capital social se reduce a cero, o por debajo de la cifra mínima legal, y al mismo tiempo se incrementa hasta una cifra igual o superior a dicha cifra mínima. No es obligatorio alcanzar el volumen previo a la reducción. Estas operaciones suelen estar vinculadas a un nuevo proyecto, de manera que, tras adaptar la cifra de capital social a las pérdidas registradas, se espera disponer de nuevos recursos financieros, como consecuencia de la ampliación.</code> | <code>Son aquellos instrumentos financieros cuyo precio no sólo varía en función de parámetros como riesgo, plazo, etc, sino que también depende de la cotización que alcance en el mercado otro activo, al que se denomina subyacente. El inversor apuesta por una determinada evolución de dicho subyacente (al alza o a la baja) en los mercados de valores. Puede consultar sobre el apartado de productos derivados de la Sección del Inversor.</code> |
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
  ```json
  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  ```

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: steps
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `learning_rate`: 2e-05
- `num_train_epochs`: 10
- `warmup_ratio`: 0.1

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 10
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch  | Step | Training Loss | Validation Loss | validacionCNMV_cosine_accuracy |
|:------:|:----:|:-------------:|:---------------:|:------------------------------:|
| 3.7037 | 100  | 1.1008        | 0.6575          | 0.9815                         |
| 7.4074 | 200  | 0.4089        | 0.6627          | 1.0                            |


### Framework Versions
- Python: 3.11.11
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.5.1+cu124
- Accelerate: 1.3.0
- Datasets: 3.3.2
- Tokenizers: 0.21.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->