prodriguezg01/multilingual-e5-smallV2

SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small on the embedding-finetuning-glosario dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • embedding-finetuning-glosario

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("prodriguezg01/multilingual-e5-smallV2")
# Run inference
sentences = [
    'Riesgo de liquidez',
    'Posible penalización en el precio de un valor, en caso de que se necesite deshacer la inversión para recuperar el capital con rapidez. Con carácter general, puede decirse que los valores cotizados son más líquidos que los que no cotizan, ya que hay más posibilidades de encontrar contrapartidas a un precio razonable (en ocasiones los no cotizados incorporan algún tipo de cláusula o garantía de liquidez por parte del emisor o un tercero, aunque no existe transparencia en cuanto al precio). Cuanto menos líquido es un valor, mayor es la disminución en el precio que debe aceptar el inversor para vender sus valores. En casos de iliquidez extrema, puede llegar a resultar imposible recuperar la inversión en el momento deseado.',
    'Adquisición regular de acciones de una empresa, por el procedimiento de suscribir acciones en todas las ampliaciones de capital.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: validacionCNMV
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	1.0

Training Details

Training Dataset

embedding-finetuning-glosario

• Dataset: embedding-finetuning-glosario at 8dddd3e
• Size: 421 training samples
• Columns: Termino, Definicion, and Def_Neg
• Approximate statistics based on the first 421 samples:

  	Termino	Definicion	Def_Neg
  type	string	string	string
  details	min: 3 tokens mean: 6.39 tokens max: 23 tokens	min: 3 tokens mean: 77.24 tokens max: 340 tokens	min: 3 tokens mean: 79.65 tokens max: 340 tokens

• Samples:

  Termino	Definicion	Def_Neg
  Orden de ejecutar o anular	Orden bursátil que se ejecuta de forma instantánea por la cantidad que resulte posible, según los precios del mercado; el sistema rechaza el resto del volumen de la orden. Ver Orden bursátil.	Fondos y sociedades de inversión, domiciliadas en un Estado miembro de la Unión Europea y sujetas a la Directiva europea que regula las instituciones de inversión colectiva. Pueden comercializarse en España entre los inversores particulares, previa inscripción en los registros de la CNMV y a través de entidades comercializadoras también registradas en este organismo.
  ROA	Ratio que indica la rentabilidad de una empresa en relación con su activo total; indica el rendimiento que se está obteniendo de los activos. Se calcula dividiendo el beneficio neto entre el activo total.	Contratos en los que un inversor y una entidad financiera acuerdan intercambiarse la diferencia entre el precio de compra y el precio de venta de un determinado activo subyacente (valores negociables, índices, divisas…). En esta operativa no es necesario desembolsar la totalidad del capital que se necesitaría para comprar o vender directamente el activo subyacente, por lo que la inversión presentará un determinado nivel de apalancamiento (que dependerá del importe que los inversores deban depositar en concepto de garantía para cada operación).Además, suele decirse que los CFD no tienen vencimiento, ya que si bien se liquidan cada día, el inversor tiene la posibilidad de prorrogar la posición abierta los días que desee. En caso de que se opte por esta posibilidad, es habitual que la entidad exija el pago de unos intereses por las posiciones compradas (en concepto de financiación) y cabe la posibilidad de que retribuya las posiciones vendidas (generalmente a un tipo de interés menor). Po...
  Acción rescatable	Poco habituales en el mercado español. Son aquellas acciones que pueden ser amortizadas por la sociedad emisora a iniciativa de ésta, de los accionistas o de ambos. En los acuerdos de emisión se fijan las condiciones para el ejercicio del rescate. En el caso de que sólo el emisor tenga el derecho de rescate, éste no podrá ejercitarse sino a partir de los tres años de la emisión de las acciones. Las acciones rescatables deberán ser íntegramente desembolsadas en el momento de la suscripción.	OPV

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

embedding-finetuning-glosario

• Dataset: embedding-finetuning-glosario at 8dddd3e
• Size: 54 evaluation samples
• Columns: Termino, Definicion, and Def_Neg
• Approximate statistics based on the first 54 samples:

  	Termino	Definicion	Def_Neg
  type	string	string	string
  details	min: 3 tokens mean: 7.11 tokens max: 19 tokens	min: 4 tokens mean: 78.2 tokens max: 236 tokens	min: 4 tokens mean: 72.33 tokens max: 209 tokens

• Samples:

  Termino	Definicion	Def_Neg
  TAE	Es un tipo de interés teórico a un año, que permite establecer comparaciones entre activos con distintos plazos de vencimiento y condiciones contractuales. Mediante una fórmula matemática, se obtiene el tipo anual que, en un momento dado, igualaría el valor de la inversión con el valor actual de todos los flujos previstos de cobros y pagos (cupones, amortización del principal, etc).	Término con el que se hace referencia al cumplimiento de una orden bursátil de compra o venta.
  Contratos tipo	Son los modelos de contrato que han de utilizar las empresas que prestan servicios de inversión para formalizar las relaciones con sus clientes, en determinadas operaciones que por su carácter habitual alcanzan una difusión masiva.	Reducción del valor de un bien. En el caso de elementos físicos, suele deberse al paso del tiempo o a los efectos del uso (por ejemplo, la maquinaria de una fábrica).
  Operación acordeón	Operación societaria especial, que consiste en una reducción y ampliación de capital simultáneas, con el fin de sanear económicamente una sociedad. En primer lugar, el capital social se reduce a cero, o por debajo de la cifra mínima legal, y al mismo tiempo se incrementa hasta una cifra igual o superior a dicha cifra mínima. No es obligatorio alcanzar el volumen previo a la reducción. Estas operaciones suelen estar vinculadas a un nuevo proyecto, de manera que, tras adaptar la cifra de capital social a las pérdidas registradas, se espera disponer de nuevos recursos financieros, como consecuencia de la ampliación.	Son aquellos instrumentos financieros cuyo precio no sólo varía en función de parámetros como riesgo, plazo, etc, sino que también depende de la cotización que alcance en el mercado otro activo, al que se denomina subyacente. El inversor apuesta por una determinada evolución de dicho subyacente (al alza o a la baja) en los mercados de valores. Puede consultar sobre el apartado de productos derivados de la Sección del Inversor.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	validacionCNMV_cosine_accuracy
3.7037	100	1.1008	0.6575	0.9815
7.4074	200	0.4089	0.6627	1.0

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}