Hugging Face's logo

Lettria
/
grag-go-idf-contrastive_8083-v2

Sentence Similarity
sentence-transformers
TensorBoard
ONNX
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:4861
loss:ContrastiveLoss
Eval Results
text-embeddings-inference
Inference Endpoints
Model card Files Metrics Community
grag-go-idf-contrastive_8083-v2 / README.md
romain125's picture
romain125
End of training
998638c verified
preview code
|
raw
history blame contribute delete
41.6 kB
---
base_model: intfloat/multilingual-e5-base
library_name: sentence-transformers
metrics:
- cosine_accuracy
- cosine_accuracy_threshold
- cosine_f1
- cosine_f1_threshold
- cosine_precision
- cosine_recall
- cosine_ap
- cosine_mcc
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:4861
- loss:ContrastiveLoss
widget:
- source_sentence: 'Type de project: Actions de valorisation (expos physiques ou virtuelles,
journées d’étude, site internet, publications, documentaires…),Outils de médiation (cartes
et itinéraires papier ou numériques, livrets de visite, outils numériques, multimédia,
parcours d’interprétation…),Dispositifs pédagogiques (mallettes pédagogiques,
Moocs, supports de visite à destination des jeunes…),Événements rayonnant à l’échelle
de l’Île-de-France. Une attention particulière sera portée à la qualité des contenus,
à l’originalité et la pertinence des outils ou actions proposés, et à leur adéquation
avec les publics ciblés.'
sentences:
- '''Actions de valorisation'':projet|ÉVALUÉ_PAR|''adéquation avec les publics ciblés'':critère'
- '''mesdemarches.iledefrance.fr'':plateforme|ACCEPTE_DEMANDE|''Association - Fondation'':entité'
- '''projets de coopération'':projet|IMPLIQUE|''agriculteur cédant'':personne'
- source_sentence: 'Description: Cet appel à projets vise à soutenir les structures
en investissement qui agissent en faveur des jeunes en situation de précarité,
suite à une rupture familiale ou sociale pouvant entraîner de graves conséquences
sur leur santé ou leur sécurité.
Thèmes: Santé & Social : Solidarité
Nature de l''aide: Les dépenses éligibles se composent de dépenses de fonctionnement
exclusivement imputables à la mise en œuvre des projets retenus dans le cadre
de ce dispositif. La subvention régionale est fixée à 50 % maximum de la dépense
subventionnable (total des dépenses éligibles), dans la limite d’un plafond de
subvention fixé à 75 000 € maximum.
Délibération cadre: CR 100-16 du 22 septembre 2016 / CP 2018-428 du 17 octobre
2018'
sentences:
- '''C''POSSIBLE'':programme|FAVORISE_INSERTION_PROFESSIONNELLE|''lycéens'':groupe'
- '''Date de début'':concept|EST|''non précisée'':__inferred__'
- '''subvention régionale'':aide|LIMITE|''appel à projets'':projet'
- source_sentence: 'Type de project: Le programme propose des rencontres le samedi
après-midi dans une université ou une grande école réputée, entre les professionnels
bénévoles et les lycéens et collégiens sous la forme d''atelier thématiques. Ces
moments de rencontre touchent à une grande multitude de domaines d’activités. L''objectif
est de donner l’opportunité aux jeunes les plus enclavés d’échanger avec des intervenants
professionnels aux parcours atypiques et inspirants. Les intervenants suscitent
les ambitions et élargissent les perspectives des élèves.'
sentences:
- '''concours'':événement|CIBLE|''jeunes'':groupe'
- '''projets'':__inferred__|TÉLÉCHARGER_ET_REMPLIR|''charte des valeurs de la République
et de la laïcité'':document'
- '''programme'':initiative|IMPLIQUE|''lycéens'':groupe'
- source_sentence: 'Type de project: Le Prix des Innovateurs vise à encourager, soutenir
et valoriser la recherche, le transfert de technologie et l’émergence d’innovations
en santé dont l’impact sociétal et de santé publique est remarquable. Ce prix
a ainsi vocation à :  Contribuer à la reconnaissance d’un chercheur et de son
équipe menant des recherches dans le secteur de la santé,Encourager la création
de spin-off de laboratoires académiques en garantissant les meilleures conditions
d’essaimage notamment par l’acquisition des compétences requises par l’ensemble
des membres de l’équipe,Renforcer'
sentences:
- '''2nde session de dépôt'':session|diffusion prévue|''diffusion à partir de novembre
2025'':__inferred__'
- '''chercheur'':personne|DIRIGE|''équipe de recherche'':groupe'
- '''Collectivité ou institution - Communes de > 20 000 hab'':organisation|éligible
pour|''dépôt des demandes de subvention'':procédure'
- source_sentence: 'Date de début: non précisée
Date de fin (clôture): non précisée
Date de début de la future campagne: non précisée'
sentences:
- '''Date de fin'':concept|EST|''Lundi 18 Novembre 2024'':__inferred__'
- '''Région IDF'':organisation|PROPOSE|''Grands Lieux d''Innovation'':programme'
- '''Date de fin'':concept|EST|''non précisée'':__inferred__'
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-base
results:
- task:
type: binary-classification
name: Binary Classification
dataset:
name: BinaryClassifEval
type: BinaryClassifEval
metrics:
- type: cosine_accuracy
value: 0.7058340180772391
name: Cosine Accuracy
- type: cosine_accuracy_threshold
value: 0.793916642665863
name: Cosine Accuracy Threshold
- type: cosine_f1
value: 0.7171875
name: Cosine F1
- type: cosine_f1_threshold
value: 0.7811518907546997
name: Cosine F1 Threshold
- type: cosine_precision
value: 0.6912650602409639
name: Cosine Precision
- type: cosine_recall
value: 0.7451298701298701
name: Cosine Recall
- type: cosine_ap
value: 0.7612878163621353
name: Cosine Ap
- type: cosine_mcc
value: 0.4056919853026572
name: Cosine Mcc
---
# SentenceTransformer based on intfloat/multilingual-e5-base
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base) <!-- at revision 835193815a3936a24a0ee7dc9e3d48c1fbb19c55 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
- **Training Dataset:**
- json
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Lettria/grag-go-idf-contrastive_8083-v2-trial-6")
# Run inference
sentences = [
'Date de début: non précisée\nDate de fin (clôture): non précisée\nDate de début de la future campagne: non précisée',
"'Date de fin':concept|EST|'non précisée':__inferred__",
"'Date de fin':concept|EST|'Lundi 18 Novembre 2024':__inferred__",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Binary Classification
* Dataset: `BinaryClassifEval`
* Evaluated with [<code>BinaryClassificationEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.BinaryClassificationEvaluator)
| Metric | Value |
|:--------------------------|:-----------|
| cosine_accuracy | 0.7058 |
| cosine_accuracy_threshold | 0.7939 |
| cosine_f1 | 0.7172 |
| cosine_f1_threshold | 0.7812 |
| cosine_precision | 0.6913 |
| cosine_recall | 0.7451 |
| **cosine_ap** | **0.7613** |
| cosine_mcc | 0.4057 |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### json
* Dataset: json
* Size: 4,861 training samples
* Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
* Approximate statistics based on the first 1000 samples:
| | sentence1 | sentence2 | label |
|:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:-----------------------------|
| type | string | string | int |
| details | <ul><li>min: 26 tokens</li><li>mean: 191.64 tokens</li><li>max: 429 tokens</li></ul> | <ul><li>min: 18 tokens</li><li>mean: 31.2 tokens</li><li>max: 72 tokens</li></ul> | <ul><li>1: 100.00%</li></ul> |
* Samples:
| sentence1 | sentence2 | label |
|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------|:---------------|
| <code>Type de project: L’excès de précipitations tout au long de l’année a conduit à une chute spectaculaire des rendements des céréales d’été et des protéagineux (blé, orge, pois, féverole, etc.) que produisent 90% des agriculteurs d’Île-de-France, historique grenier à blé du pays. Tributaires naturels du fleurissement des cultures, les apiculteurs professionnels de la région ont également souffert de ces dérèglements climatiques.La Région accompagne les exploitations concernées en leur apportant une aide exceptionnelle.</code> | <code>'excès de précipitations':phénomène|DIMINUE|'rendements des protéagineux':concept</code> | <code>1</code> |
| <code>Type de project: Dans le cadre de sa stratégie « Impact 2028 », la Région s’engage dans la défense de la souveraineté industrielle en renforçant son soutien à une industrie circulaire et décarbonée, porteuse d’innovations et créatrice d’emplois. PM'up Jeunes pousses industrielles soutient les projets d’implantation d’une première usine tournée vers la décarbonation, l’efficacité énergétique et la circularité des processus de production. Ces projets peuvent prendre l'une de ces formes : Une première unité de production industrielle, après une phase de prototypage,Une ligne pilote de production industrielle, en interne ou chez un tiers situé en Île-de-France, à condition que sa production soit destinée à de premières commercialisations,La transformation d’une unité de production pilote à une unité de production industrielle</code> | <code>'Région Île-de-France':organisation|soutient|'industrie décarbonée':concept</code> | <code>1</code> |
| <code>Procédures et démarches: Le dépôt des demandes de subvention se fait en ligne sur la plateforme régionale mesdemarches.iledefrance.fr : Session de dépôt unique pour les nouvelles demandes : du 30 septembre au 4 novembre 2024 (11 heures) pour des festivals qui se déroulent entre le 1er mars 2025 et le 28 février 2026 (vote à la CP de mars 2025). Pour les demandes de renouvellement, un mail est envoyé aux structures concernées par le service du Spectacle vivant en amont de chaque session de dépôt.<br>Bénéficiaires: Professionnel - Culture, Association - Fondation, Association - Régie par la loi de 1901, Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPC...</code> | <code>'Collectivité ou institution - EPCI':bénéficiaire|PEUT_BÉNÉFICIER|'demandes de subvention':procédure</code> | <code>1</code> |
* Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
```json
{
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
"margin": 0.5,
"size_average": true
}
```
### Evaluation Dataset
#### json
* Dataset: json
* Size: 1,217 evaluation samples
* Columns: <code>sentence1</code>, <code>sentence2</code>, and <code>label</code>
* Approximate statistics based on the first 1000 samples:
| | sentence1 | sentence2 | label |
|:--------|:-------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------|
| type | string | string | int |
| details | <ul><li>min: 24 tokens</li><li>mean: 188.47 tokens</li><li>max: 394 tokens</li></ul> | <ul><li>min: 17 tokens</li><li>mean: 31.22 tokens</li><li>max: 133 tokens</li></ul> | <ul><li>0: ~38.40%</li><li>1: ~61.60%</li></ul> |
* Samples:
| sentence1 | sentence2 | label |
|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|:---------------|
| <code>Type de project: Le programme propose des rencontres le samedi après-midi dans une université ou une grande école réputée, entre les professionnels bénévoles et les lycéens et collégiens sous la forme d'atelier thématiques. Ces moments de rencontre touchent à une grande multitude de domaines d’activités. L'objectif est de donner l’opportunité aux jeunes les plus enclavés d’échanger avec des intervenants professionnels aux parcours atypiques et inspirants. Les intervenants suscitent les ambitions et élargissent les perspectives des élèves.</code> | <code>'rencontres':événement|impliquent|'professionnels bénévoles':groupe</code> | <code>1</code> |
| <code>Précision sure les bénéficiaires: Communes,Établissements publics de coopération intercommunale (avec ou sans fiscalité propre),Établissements publics territoriaux franciliens,Départements,Aménageurs publics et privés (lorsque ces derniers interviennent à la demande ou pour le compte d'une collectivité précitée).</code> | <code>'Aménageurs privés':entité|INTERVIENT_POUR|'Départements':entité</code> | <code>1</code> |
| <code>Date de début: non précisée<br>Date de fin (clôture): non précisée<br>Date de début de la future campagne: non précisée</code> | <code>'Date de fin':concept|EST|'non précisée':__inferred__</code> | <code>1</code> |
* Loss: [<code>ContrastiveLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters:
```json
{
"distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
"margin": 0.5,
"size_average": true
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 4
- `per_device_eval_batch_size`: 4
- `gradient_accumulation_steps`: 2
- `learning_rate`: 2.0007927807284357e-05
- `num_train_epochs`: 10
- `lr_scheduler_type`: cosine
- `warmup_steps`: 320
- `bf16`: True
- `tf32`: True
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `hub_model_id`: Lettria/grag-go-idf-contrastive_8083-v2-trial-6
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 4
- `per_device_eval_batch_size`: 4
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 2
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2.0007927807284357e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 10
- `max_steps`: -1
- `lr_scheduler_type`: cosine
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 320
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: True
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: True
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: Lettria/grag-go-idf-contrastive_8083-v2-trial-6
- `hub_strategy`: every_save
- `hub_private_repo`: None
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `include_for_metrics`: []
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `average_tokens_across_devices`: False
- `prompts`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
<details><summary>Click to expand</summary>
| Epoch | Step | Training Loss | Validation Loss | BinaryClassifEval_cosine_ap |
|:-------:|:-------:|:-------------:|:---------------:|:---------------------------:|
| 0.0658 | 40 | 0.0617 | - | - |
| 0.1316 | 80 | 0.0552 | - | - |
| 0.1974 | 120 | 0.0538 | - | - |
| 0.2632 | 160 | 0.0488 | - | - |
| 0.3289 | 200 | 0.0498 | - | - |
| 0.3947 | 240 | 0.0458 | - | - |
| 0.4605 | 280 | 0.0425 | - | - |
| 0.5263 | 320 | 0.0398 | - | - |
| 0.5921 | 360 | 0.0403 | - | - |
| 0.6579 | 400 | 0.0377 | - | - |
| 0.7237 | 440 | 0.0339 | - | - |
| 0.7895 | 480 | 0.0372 | - | - |
| 0.8553 | 520 | 0.0364 | - | - |
| 0.9211 | 560 | 0.0358 | - | - |
| 0.9868 | 600 | 0.0326 | - | - |
| **1.0** | **608** | **-** | **0.0268** | **0.7613** |
| 1.0526 | 640 | 0.0335 | - | - |
| 1.1184 | 680 | 0.0296 | - | - |
| 1.1842 | 720 | 0.0273 | - | - |
| 1.25 | 760 | 0.0253 | - | - |
| 1.3158 | 800 | 0.0249 | - | - |
| 1.3816 | 840 | 0.0276 | - | - |
| 1.4474 | 880 | 0.0255 | - | - |
| 1.5132 | 920 | 0.0204 | - | - |
| 1.5789 | 960 | 0.026 | - | - |
| 1.6447 | 1000 | 0.0202 | - | - |
| 1.7105 | 1040 | 0.0224 | - | - |
| 1.7763 | 1080 | 0.0246 | - | - |
| 1.8421 | 1120 | 0.0249 | - | - |
| 1.9079 | 1160 | 0.0214 | - | - |
| 1.9737 | 1200 | 0.0212 | - | - |
| 2.0 | 1216 | - | 0.0286 | 0.7398 |
| 2.0395 | 1240 | 0.0181 | - | - |
| 2.1053 | 1280 | 0.0156 | - | - |
| 2.1711 | 1320 | 0.0142 | - | - |
| 2.2368 | 1360 | 0.0189 | - | - |
| 2.3026 | 1400 | 0.0154 | - | - |
| 2.3684 | 1440 | 0.0184 | - | - |
| 2.4342 | 1480 | 0.0144 | - | - |
| 2.5 | 1520 | 0.0181 | - | - |
| 2.5658 | 1560 | 0.0154 | - | - |
| 2.6316 | 1600 | 0.0144 | - | - |
| 2.6974 | 1640 | 0.0175 | - | - |
| 2.7632 | 1680 | 0.0133 | - | - |
| 2.8289 | 1720 | 0.0163 | - | - |
| 2.8947 | 1760 | 0.012 | - | - |
| 2.9605 | 1800 | 0.0168 | - | - |
| 3.0 | 1824 | - | 0.0296 | 0.7407 |
| 3.0263 | 1840 | 0.0125 | - | - |
| 3.0921 | 1880 | 0.0115 | - | - |
| 3.1579 | 1920 | 0.0102 | - | - |
| 3.2237 | 1960 | 0.0097 | - | - |
| 3.2895 | 2000 | 0.0101 | - | - |
| 3.3553 | 2040 | 0.0104 | - | - |
| 3.4211 | 2080 | 0.0105 | - | - |
| 3.4868 | 2120 | 0.0105 | - | - |
| 3.5526 | 2160 | 0.0104 | - | - |
| 3.6184 | 2200 | 0.0088 | - | - |
| 3.6842 | 2240 | 0.0109 | - | - |
| 3.75 | 2280 | 0.0123 | - | - |
| 3.8158 | 2320 | 0.0102 | - | - |
| 3.8816 | 2360 | 0.0099 | - | - |
| 3.9474 | 2400 | 0.0103 | - | - |
| 4.0 | 2432 | - | 0.0294 | 0.7537 |
| 4.0132 | 2440 | 0.0093 | - | - |
| 4.0789 | 2480 | 0.0067 | - | - |
| 4.1447 | 2520 | 0.0083 | - | - |
| 4.2105 | 2560 | 0.0081 | - | - |
| 4.2763 | 2600 | 0.0083 | - | - |
| 4.3421 | 2640 | 0.0059 | - | - |
| 4.4079 | 2680 | 0.008 | - | - |
| 4.4737 | 2720 | 0.0078 | - | - |
| 4.5395 | 2760 | 0.0062 | - | - |
| 4.6053 | 2800 | 0.0064 | - | - |
| 4.6711 | 2840 | 0.0051 | - | - |
| 4.7368 | 2880 | 0.0059 | - | - |
| 4.8026 | 2920 | 0.0074 | - | - |
| 4.8684 | 2960 | 0.0068 | - | - |
| 4.9342 | 3000 | 0.0082 | - | - |
| 5.0 | 3040 | 0.0085 | 0.0319 | 0.7341 |
| 5.0658 | 3080 | 0.004 | - | - |
| 5.1316 | 3120 | 0.0049 | - | - |
| 5.1974 | 3160 | 0.005 | - | - |
| 5.2632 | 3200 | 0.0059 | - | - |
| 5.3289 | 3240 | 0.005 | - | - |
| 5.3947 | 3280 | 0.0047 | - | - |
| 5.4605 | 3320 | 0.0044 | - | - |
| 5.5263 | 3360 | 0.0046 | - | - |
| 5.5921 | 3400 | 0.0044 | - | - |
| 5.6579 | 3440 | 0.0065 | - | - |
| 5.7237 | 3480 | 0.0054 | - | - |
| 5.7895 | 3520 | 0.0062 | - | - |
| 5.8553 | 3560 | 0.0054 | - | - |
| 5.9211 | 3600 | 0.0041 | - | - |
| 5.9868 | 3640 | 0.0048 | - | - |
| 6.0 | 3648 | - | 0.0336 | 0.7182 |
| 6.0526 | 3680 | 0.0035 | - | - |
| 6.1184 | 3720 | 0.0029 | - | - |
| 6.1842 | 3760 | 0.0033 | - | - |
| 6.25 | 3800 | 0.0048 | - | - |
| 6.3158 | 3840 | 0.0058 | - | - |
| 6.3816 | 3880 | 0.0037 | - | - |
| 6.4474 | 3920 | 0.0035 | - | - |
| 6.5132 | 3960 | 0.0043 | - | - |
| 6.5789 | 4000 | 0.004 | - | - |
| 6.6447 | 4040 | 0.0026 | - | - |
| 6.7105 | 4080 | 0.0055 | - | - |
| 6.7763 | 4120 | 0.0031 | - | - |
| 6.8421 | 4160 | 0.0037 | - | - |
| 6.9079 | 4200 | 0.0036 | - | - |
| 6.9737 | 4240 | 0.0046 | - | - |
| 7.0 | 4256 | - | 0.0338 | 0.7097 |
| 7.0395 | 4280 | 0.0027 | - | - |
| 7.1053 | 4320 | 0.0026 | - | - |
| 7.1711 | 4360 | 0.0034 | - | - |
| 7.2368 | 4400 | 0.0039 | - | - |
| 7.3026 | 4440 | 0.0023 | - | - |
| 7.3684 | 4480 | 0.0034 | - | - |
| 7.4342 | 4520 | 0.0022 | - | - |
| 7.5 | 4560 | 0.0045 | - | - |
| 7.5658 | 4600 | 0.0027 | - | - |
| 7.6316 | 4640 | 0.0036 | - | - |
| 7.6974 | 4680 | 0.0031 | - | - |
| 7.7632 | 4720 | 0.0018 | - | - |
| 7.8289 | 4760 | 0.0019 | - | - |
| 7.8947 | 4800 | 0.0029 | - | - |
| 7.9605 | 4840 | 0.0033 | - | - |
| 8.0 | 4864 | - | 0.0338 | 0.7093 |
| 8.0263 | 4880 | 0.0029 | - | - |
| 8.0921 | 4920 | 0.0023 | - | - |
| 8.1579 | 4960 | 0.0026 | - | - |
| 8.2237 | 5000 | 0.0026 | - | - |
| 8.2895 | 5040 | 0.0025 | - | - |
| 8.3553 | 5080 | 0.0033 | - | - |
| 8.4211 | 5120 | 0.0031 | - | - |
| 8.4868 | 5160 | 0.0025 | - | - |
| 8.5526 | 5200 | 0.0025 | - | - |
| 8.6184 | 5240 | 0.0022 | - | - |
| 8.6842 | 5280 | 0.002 | - | - |
| 8.75 | 5320 | 0.0025 | - | - |
| 8.8158 | 5360 | 0.0018 | - | - |
| 8.8816 | 5400 | 0.0018 | - | - |
| 8.9474 | 5440 | 0.0031 | - | - |
| 9.0 | 5472 | - | 0.0342 | 0.7133 |
| 9.0132 | 5480 | 0.002 | - | - |
| 9.0789 | 5520 | 0.0026 | - | - |
| 9.1447 | 5560 | 0.0017 | - | - |
| 9.2105 | 5600 | 0.003 | - | - |
| 9.2763 | 5640 | 0.002 | - | - |
| 9.3421 | 5680 | 0.0019 | - | - |
| 9.4079 | 5720 | 0.0022 | - | - |
| 9.4737 | 5760 | 0.0018 | - | - |
| 9.5395 | 5800 | 0.0035 | - | - |
| 9.6053 | 5840 | 0.0024 | - | - |
| 9.6711 | 5880 | 0.0027 | - | - |
| 9.7368 | 5920 | 0.002 | - | - |
| 9.8026 | 5960 | 0.0029 | - | - |
| 9.8684 | 6000 | 0.0018 | - | - |
| 9.9342 | 6040 | 0.0022 | - | - |
| 10.0 | 6080 | 0.0023 | 0.0268 | 0.7613 |
* The bold row denotes the saved checkpoint.
</details>
### Framework Versions
- Python: 3.11.9
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.3.0
- Accelerate: 1.1.0
- Datasets: 3.3.2
- Tokenizers: 0.21.0
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### ContrastiveLoss
```bibtex
@inproceedings{hadsell2006dimensionality,
author={Hadsell, R. and Chopra, S. and LeCun, Y.},
booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
title={Dimensionality Reduction by Learning an Invariant Mapping},
year={2006},
volume={2},
number={},
pages={1735-1742},
doi={10.1109/CVPR.2006.100}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->