|
--- |
|
tags: |
|
- sentence-transformers |
|
- sentence-similarity |
|
- feature-extraction |
|
- generated_from_trainer |
|
- dataset_size:421 |
|
- loss:MultipleNegativesRankingLoss |
|
base_model: intfloat/multilingual-e5-small |
|
widget: |
|
- source_sentence: IIIC no armonizadas |
|
sentences: |
|
- non-UCITS |
|
- Es un tipo de interés teórico a un año, que permite establecer comparaciones entre |
|
activos con distintos plazos de vencimiento y condiciones contractuales. Mediante |
|
una fórmula matemática, se obtiene el tipo anual que, en un momento dado, igualaría |
|
el valor de la inversión con el valor actual de todos los flujos previstos de |
|
cobros y pagos (cupones, amortización del principal, etc). |
|
- Es una propuesta de negociación, gestionada en última instancia por un miembro |
|
del mercado, que se realiza bien a solicitud del inversor (cuenta de terceros) |
|
o por cuenta propia de una entidad. Debe especificar como mínimo el valor sobre |
|
el que se opera, el tipo de transacción (compra o venta), la cantidad y el precio. |
|
- source_sentence: Utilities |
|
sentences: |
|
- Denominación genérica de aquellas compañías que ofrecen servicios públicos como |
|
electricidad, gas, agua o autopistas. |
|
- El código CFI está compuesto por seis caracteres alfabéticos y permite diferenciar |
|
valores e instrumentos financieros atendiendo a sus principales características. |
|
Está pensado para que los procesos informáticos tengan la posibilidad de clasificar |
|
valores e instrumentos financieros de forma automática. En España, los códigos |
|
CFI son asignados por la Agencia Nacional de Codificación de Valores, dependiente |
|
de la Comisión Nacional del Mercado de Valores (CNMV). |
|
- Es el efecto que se produce en los mercados cuando los inversores compran o venden |
|
un activo (haciendo que su precio suba o baje), debido a las expectativas conocidas |
|
en relación con algún acontecimiento o noticia que aún no ha sucedido. Si al final |
|
ese hecho ocurre efectivamente, en teoría no debería tener efecto en los precios |
|
porque los mercados ya lo han ´descontado´. |
|
- source_sentence: Tasa interna de rentabilidad |
|
sentences: |
|
- Fecha en la que expira un contrato financiero o en la que se devuelve el principal |
|
de un valor. |
|
- Estimación de la solvencia de una compañía, realizada por entidades especializadas. |
|
Tal valoración se plasma en el rating, que permite a los inversores evaluar el |
|
riesgo de las emisiones y de la propia empresa, generalmente distinguiendo entre |
|
las emisiones a corto y a largo plazo. Ver agencia de calificación creditica y |
|
Rating. |
|
- TIR |
|
- source_sentence: Lock-up |
|
sentences: |
|
- Posibilidad que tienen los partícipes de un fondo de inversión de reembolsar sus |
|
participaciones sin abonar comisión de reembolso, durante un plazo determinado. |
|
La gestora ha de comunicar a los partícipes el otorgamiento de este derecho cuando |
|
se produzcan determinadas modificaciones sustanciales en las características del |
|
fondo o en los derechos del inversor (cambios en la política de inversión, elevación |
|
de comisiones, etc.). |
|
- Es el resultado de una sociedad (obtenido por diferencia entre ingresos y gastos), |
|
antes de restar las amortizaciones y los impuestos. |
|
- Periodo durante el cual no es posible realizar una determinada operación. Los |
|
motivos y características de estos “periodos de cierre” varían según el tipo de |
|
producto. Por ejemplo, en las ofertas públicas de venta (OPV) algunos accionistas |
|
pueden firman un compromiso de lock-up, por el que se obligan a mantener sus acciones |
|
durante un periodo determinado; el objetivo es facilitar la colocación entre el |
|
público, eliminando la incertidumbre y el descenso de precios que se produciría |
|
si algún accionista significativo optara por deshacerse de sus acciones. En el |
|
ámbito de los fondos de inversión, el lock-up es el periodo durante el que se |
|
impide la entrada de nuevos partícipes o la realización de inversiones adicionales |
|
en un fondo (situación que suele darse en los fondos de inversión libre o hedge |
|
funds, si así lo establece el folleto); el motivo del cierre es que el fondo ya |
|
habría alcanzado el volumen de patrimonio idóneo para una gestión eficiente y |
|
un aumento del mismo podría suponer, a juicio del gestor, una menor expectativa |
|
de rentabilidad para los partícipes. |
|
- source_sentence: Riesgo de liquidez |
|
sentences: |
|
- Adquisición regular de acciones de una empresa, por el procedimiento de suscribir |
|
acciones en todas las ampliaciones de capital. |
|
- Hacer efectivas las ganancias o pérdidas acumuladas con una inversión, mediante |
|
la venta de los valores. Mientras no se deshaga la inversión las plusvalías o |
|
minusvalías permanecen latentes, pero con la venta los resultados (positivos o |
|
negativos) se materializan y se convierten en definitivos, desplegando los correspondientes |
|
efectos fiscales. |
|
- Posible penalización en el precio de un valor, en caso de que se necesite deshacer |
|
la inversión para recuperar el capital con rapidez. Con carácter general, puede |
|
decirse que los valores cotizados son más líquidos que los que no cotizan, ya |
|
que hay más posibilidades de encontrar contrapartidas a un precio razonable (en |
|
ocasiones los no cotizados incorporan algún tipo de cláusula o garantía de liquidez |
|
por parte del emisor o un tercero, aunque no existe transparencia en cuanto al |
|
precio). Cuanto menos líquido es un valor, mayor es la disminución en el precio |
|
que debe aceptar el inversor para vender sus valores. En casos de iliquidez extrema, |
|
puede llegar a resultar imposible recuperar la inversión en el momento deseado. |
|
datasets: |
|
- prodriguezg01/embedding-finetuning-glosario |
|
pipeline_tag: sentence-similarity |
|
library_name: sentence-transformers |
|
metrics: |
|
- cosine_accuracy |
|
model-index: |
|
- name: SentenceTransformer based on intfloat/multilingual-e5-small |
|
results: |
|
- task: |
|
type: triplet |
|
name: Triplet |
|
dataset: |
|
name: validacionCNMV |
|
type: validacionCNMV |
|
metrics: |
|
- type: cosine_accuracy |
|
value: 1.0 |
|
name: Cosine Accuracy |
|
--- |
|
|
|
# SentenceTransformer based on intfloat/multilingual-e5-small |
|
|
|
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) on the [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. |
|
|
|
## Model Details |
|
|
|
### Model Description |
|
- **Model Type:** Sentence Transformer |
|
- **Base model:** [intfloat/multilingual-e5-small](https://huggingface.co/intfloat/multilingual-e5-small) <!-- at revision c007d7ef6fd86656326059b28395a7a03a7c5846 --> |
|
- **Maximum Sequence Length:** 512 tokens |
|
- **Output Dimensionality:** 384 dimensions |
|
- **Similarity Function:** Cosine Similarity |
|
- **Training Dataset:** |
|
- [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) |
|
<!-- - **Language:** Unknown --> |
|
<!-- - **License:** Unknown --> |
|
|
|
### Model Sources |
|
|
|
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) |
|
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) |
|
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) |
|
|
|
### Full Model Architecture |
|
|
|
``` |
|
SentenceTransformer( |
|
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel |
|
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) |
|
(2): Normalize() |
|
) |
|
``` |
|
|
|
## Usage |
|
|
|
### Direct Usage (Sentence Transformers) |
|
|
|
First install the Sentence Transformers library: |
|
|
|
```bash |
|
pip install -U sentence-transformers |
|
``` |
|
|
|
Then you can load this model and run inference. |
|
```python |
|
from sentence_transformers import SentenceTransformer |
|
|
|
# Download from the 🤗 Hub |
|
model = SentenceTransformer("prodriguezg01/multilingual-e5-smallV2") |
|
# Run inference |
|
sentences = [ |
|
'Riesgo de liquidez', |
|
'Posible penalización en el precio de un valor, en caso de que se necesite deshacer la inversión para recuperar el capital con rapidez. Con carácter general, puede decirse que los valores cotizados son más líquidos que los que no cotizan, ya que hay más posibilidades de encontrar contrapartidas a un precio razonable (en ocasiones los no cotizados incorporan algún tipo de cláusula o garantía de liquidez por parte del emisor o un tercero, aunque no existe transparencia en cuanto al precio). Cuanto menos líquido es un valor, mayor es la disminución en el precio que debe aceptar el inversor para vender sus valores. En casos de iliquidez extrema, puede llegar a resultar imposible recuperar la inversión en el momento deseado.', |
|
'Adquisición regular de acciones de una empresa, por el procedimiento de suscribir acciones en todas las ampliaciones de capital.', |
|
] |
|
embeddings = model.encode(sentences) |
|
print(embeddings.shape) |
|
# [3, 384] |
|
|
|
# Get the similarity scores for the embeddings |
|
similarities = model.similarity(embeddings, embeddings) |
|
print(similarities.shape) |
|
# [3, 3] |
|
``` |
|
|
|
<!-- |
|
### Direct Usage (Transformers) |
|
|
|
<details><summary>Click to see the direct usage in Transformers</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Downstream Usage (Sentence Transformers) |
|
|
|
You can finetune this model on your own dataset. |
|
|
|
<details><summary>Click to expand</summary> |
|
|
|
</details> |
|
--> |
|
|
|
<!-- |
|
### Out-of-Scope Use |
|
|
|
*List how the model may foreseeably be misused and address what users ought not to do with the model.* |
|
--> |
|
|
|
## Evaluation |
|
|
|
### Metrics |
|
|
|
#### Triplet |
|
|
|
* Dataset: `validacionCNMV` |
|
* Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator) |
|
|
|
| Metric | Value | |
|
|:--------------------|:--------| |
|
| **cosine_accuracy** | **1.0** | |
|
|
|
<!-- |
|
## Bias, Risks and Limitations |
|
|
|
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.* |
|
--> |
|
|
|
<!-- |
|
### Recommendations |
|
|
|
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.* |
|
--> |
|
|
|
## Training Details |
|
|
|
### Training Dataset |
|
|
|
#### embedding-finetuning-glosario |
|
|
|
* Dataset: [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) at [8dddd3e](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario/tree/8dddd3e5bd791b7fa439da4103d3dd7898f5372e) |
|
* Size: 421 training samples |
|
* Columns: <code>Termino</code>, <code>Definicion</code>, and <code>Def_Neg</code> |
|
* Approximate statistics based on the first 421 samples: |
|
| | Termino | Definicion | Def_Neg | |
|
|:--------|:---------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| |
|
| type | string | string | string | |
|
| details | <ul><li>min: 3 tokens</li><li>mean: 6.39 tokens</li><li>max: 23 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 77.24 tokens</li><li>max: 340 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 79.65 tokens</li><li>max: 340 tokens</li></ul> | |
|
* Samples: |
|
| Termino | Definicion | Def_Neg | |
|
|:----------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>Orden de ejecutar o anular</code> | <code>Orden bursátil que se ejecuta de forma instantánea por la cantidad que resulte posible, según los precios del mercado; el sistema rechaza el resto del volumen de la orden. Ver Orden bursátil.</code> | <code>Fondos y sociedades de inversión, domiciliadas en un Estado miembro de la Unión Europea y sujetas a la Directiva europea que regula las instituciones de inversión colectiva. Pueden comercializarse en España entre los inversores particulares, previa inscripción en los registros de la CNMV y a través de entidades comercializadoras también registradas en este organismo.</code> | |
|
| <code>ROA</code> | <code>Ratio que indica la rentabilidad de una empresa en relación con su activo total; indica el rendimiento que se está obteniendo de los activos. Se calcula dividiendo el beneficio neto entre el activo total.</code> | <code>Contratos en los que un inversor y una entidad financiera acuerdan intercambiarse la diferencia entre el precio de compra y el precio de venta de un determinado activo subyacente (valores negociables, índices, divisas…). En esta operativa no es necesario desembolsar la totalidad del capital que se necesitaría para comprar o vender directamente el activo subyacente, por lo que la inversión presentará un determinado nivel de apalancamiento (que dependerá del importe que los inversores deban depositar en concepto de garantía para cada operación).Además, suele decirse que los CFD no tienen vencimiento, ya que si bien se liquidan cada día, el inversor tiene la posibilidad de prorrogar la posición abierta los días que desee. En caso de que se opte por esta posibilidad, es habitual que la entidad exija el pago de unos intereses por las posiciones compradas (en concepto de financiación) y cabe la posibilidad de que retribuya las posiciones vendidas (generalmente a un tipo de interés menor). Po...</code> | |
|
| <code>Acción rescatable</code> | <code>Poco habituales en el mercado español. Son aquellas acciones que pueden ser amortizadas por la sociedad emisora a iniciativa de ésta, de los accionistas o de ambos. En los acuerdos de emisión se fijan las condiciones para el ejercicio del rescate. En el caso de que sólo el emisor tenga el derecho de rescate, éste no podrá ejercitarse sino a partir de los tres años de la emisión de las acciones. Las acciones rescatables deberán ser íntegramente desembolsadas en el momento de la suscripción.</code> | <code>OPV</code> | |
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
```json |
|
{ |
|
"scale": 20.0, |
|
"similarity_fct": "cos_sim" |
|
} |
|
``` |
|
|
|
### Evaluation Dataset |
|
|
|
#### embedding-finetuning-glosario |
|
|
|
* Dataset: [embedding-finetuning-glosario](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario) at [8dddd3e](https://huggingface.co/datasets/prodriguezg01/embedding-finetuning-glosario/tree/8dddd3e5bd791b7fa439da4103d3dd7898f5372e) |
|
* Size: 54 evaluation samples |
|
* Columns: <code>Termino</code>, <code>Definicion</code>, and <code>Def_Neg</code> |
|
* Approximate statistics based on the first 54 samples: |
|
| | Termino | Definicion | Def_Neg | |
|
|:--------|:---------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| |
|
| type | string | string | string | |
|
| details | <ul><li>min: 3 tokens</li><li>mean: 7.11 tokens</li><li>max: 19 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 78.2 tokens</li><li>max: 236 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 72.33 tokens</li><li>max: 209 tokens</li></ul> | |
|
* Samples: |
|
| Termino | Definicion | Def_Neg | |
|
|:--------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| |
|
| <code>TAE</code> | <code>Es un tipo de interés teórico a un año, que permite establecer comparaciones entre activos con distintos plazos de vencimiento y condiciones contractuales. Mediante una fórmula matemática, se obtiene el tipo anual que, en un momento dado, igualaría el valor de la inversión con el valor actual de todos los flujos previstos de cobros y pagos (cupones, amortización del principal, etc).</code> | <code>Término con el que se hace referencia al cumplimiento de una orden bursátil de compra o venta.</code> | |
|
| <code>Contratos tipo</code> | <code>Son los modelos de contrato que han de utilizar las empresas que prestan servicios de inversión para formalizar las relaciones con sus clientes, en determinadas operaciones que por su carácter habitual alcanzan una difusión masiva.</code> | <code>Reducción del valor de un bien. En el caso de elementos físicos, suele deberse al paso del tiempo o a los efectos del uso (por ejemplo, la maquinaria de una fábrica).</code> | |
|
| <code>Operación acordeón</code> | <code>Operación societaria especial, que consiste en una reducción y ampliación de capital simultáneas, con el fin de sanear económicamente una sociedad. En primer lugar, el capital social se reduce a cero, o por debajo de la cifra mínima legal, y al mismo tiempo se incrementa hasta una cifra igual o superior a dicha cifra mínima. No es obligatorio alcanzar el volumen previo a la reducción. Estas operaciones suelen estar vinculadas a un nuevo proyecto, de manera que, tras adaptar la cifra de capital social a las pérdidas registradas, se espera disponer de nuevos recursos financieros, como consecuencia de la ampliación.</code> | <code>Son aquellos instrumentos financieros cuyo precio no sólo varía en función de parámetros como riesgo, plazo, etc, sino que también depende de la cotización que alcance en el mercado otro activo, al que se denomina subyacente. El inversor apuesta por una determinada evolución de dicho subyacente (al alza o a la baja) en los mercados de valores. Puede consultar sobre el apartado de productos derivados de la Sección del Inversor.</code> | |
|
* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters: |
|
```json |
|
{ |
|
"scale": 20.0, |
|
"similarity_fct": "cos_sim" |
|
} |
|
``` |
|
|
|
### Training Hyperparameters |
|
#### Non-Default Hyperparameters |
|
|
|
- `eval_strategy`: steps |
|
- `per_device_train_batch_size`: 16 |
|
- `per_device_eval_batch_size`: 16 |
|
- `learning_rate`: 2e-05 |
|
- `num_train_epochs`: 10 |
|
- `warmup_ratio`: 0.1 |
|
|
|
#### All Hyperparameters |
|
<details><summary>Click to expand</summary> |
|
|
|
- `overwrite_output_dir`: False |
|
- `do_predict`: False |
|
- `eval_strategy`: steps |
|
- `prediction_loss_only`: True |
|
- `per_device_train_batch_size`: 16 |
|
- `per_device_eval_batch_size`: 16 |
|
- `per_gpu_train_batch_size`: None |
|
- `per_gpu_eval_batch_size`: None |
|
- `gradient_accumulation_steps`: 1 |
|
- `eval_accumulation_steps`: None |
|
- `torch_empty_cache_steps`: None |
|
- `learning_rate`: 2e-05 |
|
- `weight_decay`: 0.0 |
|
- `adam_beta1`: 0.9 |
|
- `adam_beta2`: 0.999 |
|
- `adam_epsilon`: 1e-08 |
|
- `max_grad_norm`: 1.0 |
|
- `num_train_epochs`: 10 |
|
- `max_steps`: -1 |
|
- `lr_scheduler_type`: linear |
|
- `lr_scheduler_kwargs`: {} |
|
- `warmup_ratio`: 0.1 |
|
- `warmup_steps`: 0 |
|
- `log_level`: passive |
|
- `log_level_replica`: warning |
|
- `log_on_each_node`: True |
|
- `logging_nan_inf_filter`: True |
|
- `save_safetensors`: True |
|
- `save_on_each_node`: False |
|
- `save_only_model`: False |
|
- `restore_callback_states_from_checkpoint`: False |
|
- `no_cuda`: False |
|
- `use_cpu`: False |
|
- `use_mps_device`: False |
|
- `seed`: 42 |
|
- `data_seed`: None |
|
- `jit_mode_eval`: False |
|
- `use_ipex`: False |
|
- `bf16`: False |
|
- `fp16`: False |
|
- `fp16_opt_level`: O1 |
|
- `half_precision_backend`: auto |
|
- `bf16_full_eval`: False |
|
- `fp16_full_eval`: False |
|
- `tf32`: None |
|
- `local_rank`: 0 |
|
- `ddp_backend`: None |
|
- `tpu_num_cores`: None |
|
- `tpu_metrics_debug`: False |
|
- `debug`: [] |
|
- `dataloader_drop_last`: False |
|
- `dataloader_num_workers`: 0 |
|
- `dataloader_prefetch_factor`: None |
|
- `past_index`: -1 |
|
- `disable_tqdm`: False |
|
- `remove_unused_columns`: True |
|
- `label_names`: None |
|
- `load_best_model_at_end`: False |
|
- `ignore_data_skip`: False |
|
- `fsdp`: [] |
|
- `fsdp_min_num_params`: 0 |
|
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} |
|
- `fsdp_transformer_layer_cls_to_wrap`: None |
|
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} |
|
- `deepspeed`: None |
|
- `label_smoothing_factor`: 0.0 |
|
- `optim`: adamw_torch |
|
- `optim_args`: None |
|
- `adafactor`: False |
|
- `group_by_length`: False |
|
- `length_column_name`: length |
|
- `ddp_find_unused_parameters`: None |
|
- `ddp_bucket_cap_mb`: None |
|
- `ddp_broadcast_buffers`: False |
|
- `dataloader_pin_memory`: True |
|
- `dataloader_persistent_workers`: False |
|
- `skip_memory_metrics`: True |
|
- `use_legacy_prediction_loop`: False |
|
- `push_to_hub`: False |
|
- `resume_from_checkpoint`: None |
|
- `hub_model_id`: None |
|
- `hub_strategy`: every_save |
|
- `hub_private_repo`: None |
|
- `hub_always_push`: False |
|
- `gradient_checkpointing`: False |
|
- `gradient_checkpointing_kwargs`: None |
|
- `include_inputs_for_metrics`: False |
|
- `include_for_metrics`: [] |
|
- `eval_do_concat_batches`: True |
|
- `fp16_backend`: auto |
|
- `push_to_hub_model_id`: None |
|
- `push_to_hub_organization`: None |
|
- `mp_parameters`: |
|
- `auto_find_batch_size`: False |
|
- `full_determinism`: False |
|
- `torchdynamo`: None |
|
- `ray_scope`: last |
|
- `ddp_timeout`: 1800 |
|
- `torch_compile`: False |
|
- `torch_compile_backend`: None |
|
- `torch_compile_mode`: None |
|
- `dispatch_batches`: None |
|
- `split_batches`: None |
|
- `include_tokens_per_second`: False |
|
- `include_num_input_tokens_seen`: False |
|
- `neftune_noise_alpha`: None |
|
- `optim_target_modules`: None |
|
- `batch_eval_metrics`: False |
|
- `eval_on_start`: False |
|
- `use_liger_kernel`: False |
|
- `eval_use_gather_object`: False |
|
- `average_tokens_across_devices`: False |
|
- `prompts`: None |
|
- `batch_sampler`: batch_sampler |
|
- `multi_dataset_batch_sampler`: proportional |
|
|
|
</details> |
|
|
|
### Training Logs |
|
| Epoch | Step | Training Loss | Validation Loss | validacionCNMV_cosine_accuracy | |
|
|:------:|:----:|:-------------:|:---------------:|:------------------------------:| |
|
| 3.7037 | 100 | 1.1008 | 0.6575 | 0.9815 | |
|
| 7.4074 | 200 | 0.4089 | 0.6627 | 1.0 | |
|
|
|
|
|
### Framework Versions |
|
- Python: 3.11.11 |
|
- Sentence Transformers: 3.4.1 |
|
- Transformers: 4.48.3 |
|
- PyTorch: 2.5.1+cu124 |
|
- Accelerate: 1.3.0 |
|
- Datasets: 3.3.2 |
|
- Tokenizers: 0.21.0 |
|
|
|
## Citation |
|
|
|
### BibTeX |
|
|
|
#### Sentence Transformers |
|
```bibtex |
|
@inproceedings{reimers-2019-sentence-bert, |
|
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", |
|
author = "Reimers, Nils and Gurevych, Iryna", |
|
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", |
|
month = "11", |
|
year = "2019", |
|
publisher = "Association for Computational Linguistics", |
|
url = "https://arxiv.org/abs/1908.10084", |
|
} |
|
``` |
|
|
|
#### MultipleNegativesRankingLoss |
|
```bibtex |
|
@misc{henderson2017efficient, |
|
title={Efficient Natural Language Response Suggestion for Smart Reply}, |
|
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, |
|
year={2017}, |
|
eprint={1705.00652}, |
|
archivePrefix={arXiv}, |
|
primaryClass={cs.CL} |
|
} |
|
``` |
|
|
|
<!-- |
|
## Glossary |
|
|
|
*Clearly define terms in order to be accessible across audiences.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Authors |
|
|
|
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.* |
|
--> |
|
|
|
<!-- |
|
## Model Card Contact |
|
|
|
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.* |
|
--> |
