Lettria/grag-go-idf-contrastive_8083-v2

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Lettria/grag-go-idf-contrastive_8083-v2-trial-6")
# Run inference
sentences = [
    'Date de début: non précisée\nDate de fin (clôture): non précisée\nDate de début de la future campagne: non précisée',
    "'Date de fin':concept|EST|'non précisée':__inferred__",
    "'Date de fin':concept|EST|'Lundi 18 Novembre 2024':__inferred__",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: BinaryClassifEval
• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.7058
cosine_accuracy_threshold	0.7939
cosine_f1	0.7172
cosine_f1_threshold	0.7812
cosine_precision	0.6913
cosine_recall	0.7451
cosine_ap	0.7613
cosine_mcc	0.4057

Training Details

Training Dataset

json

• Dataset: json
• Size: 4,861 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 26 tokens mean: 191.64 tokens max: 429 tokens	min: 18 tokens mean: 31.2 tokens max: 72 tokens	1: 100.00%

• Samples:

  sentence1	sentence2	label
  Type de project: L’excès de précipitations tout au long de l’année a conduit à une chute spectaculaire des rendements des céréales d’été et des protéagineux (blé, orge, pois, féverole, etc.) que produisent 90% des agriculteurs d’Île-de-France, historique grenier à blé du pays. Tributaires naturels du fleurissement des cultures, les apiculteurs professionnels de la région ont également souffert de ces dérèglements climatiques.La Région accompagne les exploitations concernées en leur apportant une aide exceptionnelle.	'excès de précipitations':phénomène	DIMINUE
  Type de project: Dans le cadre de sa stratégie « Impact 2028 », la Région s’engage dans la défense de la souveraineté industrielle en renforçant son soutien à une industrie circulaire et décarbonée, porteuse d’innovations et créatrice d’emplois. PM'up Jeunes pousses industrielles soutient les projets d’implantation d’une première usine tournée vers la décarbonation, l’efficacité énergétique et la circularité des processus de production. Ces projets peuvent prendre l'une de ces formes : Une première unité de production industrielle, après une phase de prototypage,Une ligne pilote de production industrielle, en interne ou chez un tiers situé en Île-de-France, à condition que sa production soit destinée à de premières commercialisations,La transformation d’une unité de production pilote à une unité de production industrielle	'Région Île-de-France':organisation	soutient
  Procédures et démarches: Le dépôt des demandes de subvention se fait en ligne sur la plateforme régionale mesdemarches.iledefrance.fr : Session de dépôt unique pour les nouvelles demandes : du 30 septembre au 4 novembre 2024 (11 heures) pour des festivals qui se déroulent entre le 1er mars 2025 et le 28 février 2026 (vote à la CP de mars 2025). Pour les demandes de renouvellement, un mail est envoyé aux structures concernées par le service du Spectacle vivant en amont de chaque session de dépôt. Bénéficiaires: Professionnel - Culture, Association - Fondation, Association - Régie par la loi de 1901, Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPC...	'Collectivité ou institution - EPCI':bénéficiaire	PEUT_BÉNÉFICIER

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 1,217 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 24 tokens mean: 188.47 tokens max: 394 tokens	min: 17 tokens mean: 31.22 tokens max: 133 tokens	0: ~38.40% 1: ~61.60%

• Samples:

  sentence1	sentence2	label
  Type de project: Le programme propose des rencontres le samedi après-midi dans une université ou une grande école réputée, entre les professionnels bénévoles et les lycéens et collégiens sous la forme d'atelier thématiques. Ces moments de rencontre touchent à une grande multitude de domaines d’activités. L'objectif est de donner l’opportunité aux jeunes les plus enclavés d’échanger avec des intervenants professionnels aux parcours atypiques et inspirants. Les intervenants suscitent les ambitions et élargissent les perspectives des élèves.	'rencontres':événement	impliquent
  Précision sure les bénéficiaires: Communes,Établissements publics de coopération intercommunale (avec ou sans fiscalité propre),Établissements publics territoriaux franciliens,Départements,Aménageurs publics et privés (lorsque ces derniers interviennent à la demande ou pour le compte d'une collectivité précitée).	'Aménageurs privés':entité	INTERVIENT_POUR
  Date de début: non précisée Date de fin (clôture): non précisée Date de début de la future campagne: non précisée	'Date de fin':concept	EST

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• gradient_accumulation_steps: 2
• learning_rate: 2.0007927807284357e-05
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_steps: 320
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• hub_model_id: Lettria/grag-go-idf-contrastive_8083-v2-trial-6

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2.0007927807284357e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 320
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: Lettria/grag-go-idf-contrastive_8083-v2-trial-6
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	BinaryClassifEval_cosine_ap
0.0658	40	0.0617	-	-
0.1316	80	0.0552	-	-
0.1974	120	0.0538	-	-
0.2632	160	0.0488	-	-
0.3289	200	0.0498	-	-
0.3947	240	0.0458	-	-
0.4605	280	0.0425	-	-
0.5263	320	0.0398	-	-
0.5921	360	0.0403	-	-
0.6579	400	0.0377	-	-
0.7237	440	0.0339	-	-
0.7895	480	0.0372	-	-
0.8553	520	0.0364	-	-
0.9211	560	0.0358	-	-
0.9868	600	0.0326	-	-
1.0	608	-	0.0268	0.7613
1.0526	640	0.0335	-	-
1.1184	680	0.0296	-	-
1.1842	720	0.0273	-	-
1.25	760	0.0253	-	-
1.3158	800	0.0249	-	-
1.3816	840	0.0276	-	-
1.4474	880	0.0255	-	-
1.5132	920	0.0204	-	-
1.5789	960	0.026	-	-
1.6447	1000	0.0202	-	-
1.7105	1040	0.0224	-	-
1.7763	1080	0.0246	-	-
1.8421	1120	0.0249	-	-
1.9079	1160	0.0214	-	-
1.9737	1200	0.0212	-	-
2.0	1216	-	0.0286	0.7398
2.0395	1240	0.0181	-	-
2.1053	1280	0.0156	-	-
2.1711	1320	0.0142	-	-
2.2368	1360	0.0189	-	-
2.3026	1400	0.0154	-	-
2.3684	1440	0.0184	-	-
2.4342	1480	0.0144	-	-
2.5	1520	0.0181	-	-
2.5658	1560	0.0154	-	-
2.6316	1600	0.0144	-	-
2.6974	1640	0.0175	-	-
2.7632	1680	0.0133	-	-
2.8289	1720	0.0163	-	-
2.8947	1760	0.012	-	-
2.9605	1800	0.0168	-	-
3.0	1824	-	0.0296	0.7407
3.0263	1840	0.0125	-	-
3.0921	1880	0.0115	-	-
3.1579	1920	0.0102	-	-
3.2237	1960	0.0097	-	-
3.2895	2000	0.0101	-	-
3.3553	2040	0.0104	-	-
3.4211	2080	0.0105	-	-
3.4868	2120	0.0105	-	-
3.5526	2160	0.0104	-	-
3.6184	2200	0.0088	-	-
3.6842	2240	0.0109	-	-
3.75	2280	0.0123	-	-
3.8158	2320	0.0102	-	-
3.8816	2360	0.0099	-	-
3.9474	2400	0.0103	-	-
4.0	2432	-	0.0294	0.7537
4.0132	2440	0.0093	-	-
4.0789	2480	0.0067	-	-
4.1447	2520	0.0083	-	-
4.2105	2560	0.0081	-	-
4.2763	2600	0.0083	-	-
4.3421	2640	0.0059	-	-
4.4079	2680	0.008	-	-
4.4737	2720	0.0078	-	-
4.5395	2760	0.0062	-	-
4.6053	2800	0.0064	-	-
4.6711	2840	0.0051	-	-
4.7368	2880	0.0059	-	-
4.8026	2920	0.0074	-	-
4.8684	2960	0.0068	-	-
4.9342	3000	0.0082	-	-
5.0	3040	0.0085	0.0319	0.7341
5.0658	3080	0.004	-	-
5.1316	3120	0.0049	-	-
5.1974	3160	0.005	-	-
5.2632	3200	0.0059	-	-
5.3289	3240	0.005	-	-
5.3947	3280	0.0047	-	-
5.4605	3320	0.0044	-	-
5.5263	3360	0.0046	-	-
5.5921	3400	0.0044	-	-
5.6579	3440	0.0065	-	-
5.7237	3480	0.0054	-	-
5.7895	3520	0.0062	-	-
5.8553	3560	0.0054	-	-
5.9211	3600	0.0041	-	-
5.9868	3640	0.0048	-	-
6.0	3648	-	0.0336	0.7182
6.0526	3680	0.0035	-	-
6.1184	3720	0.0029	-	-
6.1842	3760	0.0033	-	-
6.25	3800	0.0048	-	-
6.3158	3840	0.0058	-	-
6.3816	3880	0.0037	-	-
6.4474	3920	0.0035	-	-
6.5132	3960	0.0043	-	-
6.5789	4000	0.004	-	-
6.6447	4040	0.0026	-	-
6.7105	4080	0.0055	-	-
6.7763	4120	0.0031	-	-
6.8421	4160	0.0037	-	-
6.9079	4200	0.0036	-	-
6.9737	4240	0.0046	-	-
7.0	4256	-	0.0338	0.7097
7.0395	4280	0.0027	-	-
7.1053	4320	0.0026	-	-
7.1711	4360	0.0034	-	-
7.2368	4400	0.0039	-	-
7.3026	4440	0.0023	-	-
7.3684	4480	0.0034	-	-
7.4342	4520	0.0022	-	-
7.5	4560	0.0045	-	-
7.5658	4600	0.0027	-	-
7.6316	4640	0.0036	-	-
7.6974	4680	0.0031	-	-
7.7632	4720	0.0018	-	-
7.8289	4760	0.0019	-	-
7.8947	4800	0.0029	-	-
7.9605	4840	0.0033	-	-
8.0	4864	-	0.0338	0.7093
8.0263	4880	0.0029	-	-
8.0921	4920	0.0023	-	-
8.1579	4960	0.0026	-	-
8.2237	5000	0.0026	-	-
8.2895	5040	0.0025	-	-
8.3553	5080	0.0033	-	-
8.4211	5120	0.0031	-	-
8.4868	5160	0.0025	-	-
8.5526	5200	0.0025	-	-
8.6184	5240	0.0022	-	-
8.6842	5280	0.002	-	-
8.75	5320	0.0025	-	-
8.8158	5360	0.0018	-	-
8.8816	5400	0.0018	-	-
8.9474	5440	0.0031	-	-
9.0	5472	-	0.0342	0.7133
9.0132	5480	0.002	-	-
9.0789	5520	0.0026	-	-
9.1447	5560	0.0017	-	-
9.2105	5600	0.003	-	-
9.2763	5640	0.002	-	-
9.3421	5680	0.0019	-	-
9.4079	5720	0.0022	-	-
9.4737	5760	0.0018	-	-
9.5395	5800	0.0035	-	-
9.6053	5840	0.0024	-	-
9.6711	5880	0.0027	-	-
9.7368	5920	0.002	-	-
9.8026	5960	0.0029	-	-
9.8684	6000	0.0018	-	-
9.9342	6040	0.0022	-	-
10.0	6080	0.0023	0.0268	0.7613

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.9
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.3.0
• Accelerate: 1.1.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}