Lettria/grag-go-idf-online_contrastive_8082

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Lettria/grag-go-idf-online_contrastive_10-trial-6")
# Run inference
sentences = [
    'Procédures et démarches: La demande est à effectuer en ligne sur la plateforme mesdemarches.iledefrance.frLes dates limites de dépôt sont :  avant le 1er décembre, le 1er février, le 1er juin ou le 16 août 2024 (pour une réponse fin novembre).\nBénéficiaires: Association - Fondation, Association - Régie par la loi de 1901, Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPCI, Collectivité ou institution - EPT / Métropole du Grand Paris, Collectivité ou institution - Bailleurs sociaux, Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Office de tourisme intercommunal\nPrécision sure les bénéficiaires: nan',
    "'plateforme mesdemarches.iledefrance.fr':plateforme|BÉNÉFICIAIRE|'Association - Fondation':entité",
    "'mentorat':concept|IMPLIQUE|'salariés d'entreprises':groupe",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: BinaryClassifEval
• Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.9441
cosine_accuracy_threshold	0.9883
cosine_f1	0.9591
cosine_f1_threshold	0.9883
cosine_precision	0.9477
cosine_recall	0.9708
cosine_ap	0.9942
cosine_mcc	0.8714

Training Details

Training Dataset

json

• Dataset: json
• Size: 2,939 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 26 tokens mean: 191.64 tokens max: 429 tokens	min: 18 tokens mean: 31.2 tokens max: 72 tokens	1: 100.00%

• Samples:

  sentence1	sentence2	label
  Type de project: L’excès de précipitations tout au long de l’année a conduit à une chute spectaculaire des rendements des céréales d’été et des protéagineux (blé, orge, pois, féverole, etc.) que produisent 90% des agriculteurs d’Île-de-France, historique grenier à blé du pays. Tributaires naturels du fleurissement des cultures, les apiculteurs professionnels de la région ont également souffert de ces dérèglements climatiques.La Région accompagne les exploitations concernées en leur apportant une aide exceptionnelle.	'excès de précipitations':phénomène	DIMINUE
  Type de project: Dans le cadre de sa stratégie « Impact 2028 », la Région s’engage dans la défense de la souveraineté industrielle en renforçant son soutien à une industrie circulaire et décarbonée, porteuse d’innovations et créatrice d’emplois. PM'up Jeunes pousses industrielles soutient les projets d’implantation d’une première usine tournée vers la décarbonation, l’efficacité énergétique et la circularité des processus de production. Ces projets peuvent prendre l'une de ces formes : Une première unité de production industrielle, après une phase de prototypage,Une ligne pilote de production industrielle, en interne ou chez un tiers situé en Île-de-France, à condition que sa production soit destinée à de premières commercialisations,La transformation d’une unité de production pilote à une unité de production industrielle	'Région Île-de-France':organisation	soutient
  Procédures et démarches: Le dépôt des demandes de subvention se fait en ligne sur la plateforme régionale mesdemarches.iledefrance.fr : Session de dépôt unique pour les nouvelles demandes : du 30 septembre au 4 novembre 2024 (11 heures) pour des festivals qui se déroulent entre le 1er mars 2025 et le 28 février 2026 (vote à la CP de mars 2025). Pour les demandes de renouvellement, un mail est envoyé aux structures concernées par le service du Spectacle vivant en amont de chaque session de dépôt. Bénéficiaires: Professionnel - Culture, Association - Fondation, Association - Régie par la loi de 1901, Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPC...	'Collectivité ou institution - EPCI':bénéficiaire	PEUT_BÉNÉFICIER

• Loss: OnlineContrastiveLoss

Evaluation Dataset

json

• Dataset: json
• Size: 912 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 912 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 24 tokens mean: 175.73 tokens max: 394 tokens	min: 17 tokens mean: 30.53 tokens max: 133 tokens	0: ~32.46% 1: ~67.54%

• Samples:

  sentence1	sentence2	label
  Type de project: Le programme propose des rencontres le samedi après-midi dans une université ou une grande école réputée, entre les professionnels bénévoles et les lycéens et collégiens sous la forme d'atelier thématiques. Ces moments de rencontre touchent à une grande multitude de domaines d’activités. L'objectif est de donner l’opportunité aux jeunes les plus enclavés d’échanger avec des intervenants professionnels aux parcours atypiques et inspirants. Les intervenants suscitent les ambitions et élargissent les perspectives des élèves.	'rencontres':événement	impliquent
  Précision sure les bénéficiaires: Communes,Établissements publics de coopération intercommunale (avec ou sans fiscalité propre),Établissements publics territoriaux franciliens,Départements,Aménageurs publics et privés (lorsque ces derniers interviennent à la demande ou pour le compte d'une collectivité précitée).	'Aménageurs privés':entité	INTERVIENT_POUR
  Date de début: non précisée Date de fin (clôture): non précisée Date de début de la future campagne: non précisée	'Date de fin':concept	EST

• Loss: OnlineContrastiveLoss

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• gradient_accumulation_steps: 2
• learning_rate: 7.013278966722358e-05
• num_train_epochs: 20
• lr_scheduler_type: cosine
• warmup_steps: 149
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• hub_model_id: Lettria/grag-go-idf-online_contrastive_10-trial-6

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 7.013278966722358e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 149
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: Lettria/grag-go-idf-online_contrastive_10-trial-6
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	BinaryClassifEval_cosine_ap
0.2717	50	0.0788	-	-
0.5435	100	0.0333	-	-
0.8152	150	0.0247	-	-
1.0	184	-	0.0469	0.9922
1.0870	200	0.0099	-	-
1.3587	250	0.0098	-	-
1.6304	300	0.0195	-	-
1.9022	350	0.01	-	-
2.0	368	-	0.0295	0.9942
2.1739	400	0.0099	-	-
2.4457	450	0.005	-	-
2.7174	500	0.0194	-	-
2.9891	550	0.0003	-	-
3.0	552	-	0.0881	0.9861
3.2609	600	0.0147	-	-
3.5326	650	0.0097	-	-
3.8043	700	0.005	-	-
4.0	736	-	0.0341	0.9925
4.0761	750	0.0049	-	-
4.3478	800	0.005	-	-
4.6196	850	0.0001	-	-
4.8913	900	0.0001	-	-
5.0	920	-	0.0652	0.9876
5.1630	950	0.0098	-	-
5.4348	1000	0.0001	-	-
5.7065	1050	0.005	-	-
5.9783	1100	0.0001	-	-
6.0	1104	-	0.0565	0.9883
6.25	1150	0.0	-	-
6.5217	1200	0.0	-	-
6.7935	1250	0.0	-	-
7.0	1288	-	0.0784	0.9863
7.0652	1300	0.005	-	-
7.3370	1350	0.0	-	-
7.6087	1400	0.0	-	-
7.8804	1450	0.0	-	-
8.0	1472	-	0.0873	0.9840
8.1522	1500	0.0	-	-
8.4239	1550	0.005	-	-
8.6957	1600	0.0049	-	-
8.9674	1650	0.0	-	-
9.0	1656	-	0.0891	0.9837
9.2391	1700	0.0049	-	-
9.5109	1750	0.0049	-	-
9.7826	1800	0.0	-	-
10.0	1840	-	0.0693	0.9875
10.0543	1850	0.0049	-	-
10.3261	1900	0.0	-	-
10.5978	1950	0.0	-	-
10.8696	2000	0.0	-	-
11.0	2024	-	0.0762	0.9849
11.1413	2050	0.0049	-	-
11.4130	2100	0.0	-	-
11.6848	2150	0.0	-	-
11.9565	2200	0.0	-	-
12.0	2208	-	0.0762	0.9865
12.2283	2250	0.0	-	-
12.5	2300	0.0098	-	-
12.7717	2350	0.0	-	-
13.0	2392	-	0.0952	0.9860
13.0435	2400	0.0049	-	-
13.3152	2450	0.0049	-	-
13.5870	2500	0.0	-	-
13.8587	2550	0.0	-	-
14.0	2576	-	0.0955	0.9842
14.1304	2600	0.0	-	-
14.4022	2650	0.0	-	-
14.6739	2700	0.0049	-	-
14.9457	2750	0.0	-	-
15.0	2760	-	0.0955	0.9834
15.2174	2800	0.0	-	-
15.4891	2850	0.0	-	-
15.7609	2900	0.0	-	-
16.0	2944	-	0.1001	0.9818
16.0326	2950	0.0	-	-
16.3043	3000	0.0	-	-
16.5761	3050	0.0	-	-
16.8478	3100	0.0049	-	-
17.0	3128	-	0.0914	0.9830
17.1196	3150	0.0	-	-
17.3913	3200	0.0	-	-
17.6630	3250	0.0	-	-
17.9348	3300	0.0	-	-
18.0	3312	-	0.0936	0.9825
18.2065	3350	0.0	-	-
18.4783	3400	0.0	-	-
18.75	3450	0.0	-	-
19.0	3496	-	0.0914	0.9823
19.0217	3500	0.0	-	-
19.2935	3550	0.0	-	-
19.5652	3600	0.0049	-	-
19.8370	3650	0.0	-	-
20.0	3680	-	0.0295	0.9942

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.9
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.3.0
• Accelerate: 1.1.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}