metadata
base_model: intfloat/multilingual-e5-base
library_name: sentence-transformers
metrics:
- cosine_accuracy
- cosine_accuracy_threshold
- cosine_f1
- cosine_f1_threshold
- cosine_precision
- cosine_recall
- cosine_ap
- cosine_mcc
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:4861
- loss:ContrastiveLoss
widget:
- source_sentence: >-
Type de project: Actions de valorisation (expos physiques ou virtuelles,
journées d’étude, site internet, publications, documentaires…),Outils de
médiation (cartes et itinéraires papier ou numériques, livrets de visite,
outils numériques, multimédia, parcours d’interprétation…),Dispositifs
pédagogiques (mallettes pédagogiques, Moocs, supports de visite à
destination des jeunes…),Événements rayonnant à l’échelle de
l’Île-de-France. Une attention particulière sera portée à la qualité des
contenus, à l’originalité et la pertinence des outils ou actions proposés,
et à leur adéquation avec les publics ciblés.
sentences:
- >-
'Actions de valorisation':projet|ÉVALUÉ_PAR|'adéquation avec les publics
ciblés':critère
- >-
'mesdemarches.iledefrance.fr':plateforme|ACCEPTE_DEMANDE|'Association -
Fondation':entité
- '''projets de coopération'':projet|IMPLIQUE|''agriculteur cédant'':personne'
- source_sentence: >-
Description: Cet appel à projets vise à soutenir les structures en
investissement qui agissent en faveur des jeunes en situation de
précarité, suite à une rupture familiale ou sociale pouvant entraîner de
graves conséquences sur leur santé ou leur sécurité.
Thèmes: Santé & Social : Solidarité
Nature de l'aide: Les dépenses éligibles se composent de dépenses de
fonctionnement exclusivement imputables à la mise en œuvre des projets
retenus dans le cadre de ce dispositif. La subvention régionale est fixée
à 50 % maximum de la dépense subventionnable (total des dépenses
éligibles), dans la limite d’un plafond de subvention fixé à 75 000 €
maximum.
Délibération cadre: CR 100-16 du 22 septembre 2016 / CP 2018-428 du 17
octobre 2018
sentences:
- >-
'C'POSSIBLE':programme|FAVORISE_INSERTION_PROFESSIONNELLE|'lycéens':groupe
- '''Date de début'':concept|EST|''non précisée'':__inferred__'
- '''subvention régionale'':aide|LIMITE|''appel à projets'':projet'
- source_sentence: >-
Type de project: Le programme propose des rencontres le samedi après-midi
dans une université ou une grande école réputée, entre les professionnels
bénévoles et les lycéens et collégiens sous la forme d'atelier
thématiques. Ces moments de rencontre touchent à une grande multitude de
domaines d’activités. L'objectif est de donner l’opportunité aux jeunes
les plus enclavés d’échanger avec des intervenants professionnels aux
parcours atypiques et inspirants. Les intervenants suscitent les ambitions
et élargissent les perspectives des élèves.
sentences:
- '''concours'':événement|CIBLE|''jeunes'':groupe'
- >-
'projets':__inferred__|TÉLÉCHARGER_ET_REMPLIR|'charte des valeurs de la
République et de la laïcité':document
- '''programme'':initiative|IMPLIQUE|''lycéens'':groupe'
- source_sentence: "Type de project: Le Prix des Innovateurs vise à encourager, soutenir et valoriser la recherche, le transfert de technologie et l’émergence d’innovations en santé dont l’impact sociétal et de santé publique est remarquable.\_Ce prix a ainsi vocation à :\_ Contribuer à la reconnaissance d’un chercheur et de son équipe menant des recherches dans le secteur de la santé,Encourager la création de spin-off de laboratoires académiques en garantissant les meilleures conditions d’essaimage notamment par l’acquisition des compétences requises par l’ensemble des membres de l’équipe,Renforcer"
sentences:
- >-
'2nde session de dépôt':session|diffusion prévue|'diffusion à partir de
novembre 2025':__inferred__
- '''chercheur'':personne|DIRIGE|''équipe de recherche'':groupe'
- >-
'Collectivité ou institution - Communes de > 20 000
hab':organisation|éligible pour|'dépôt des demandes de
subvention':procédure
- source_sentence: |-
Date de début: non précisée
Date de fin (clôture): non précisée
Date de début de la future campagne: non précisée
sentences:
- '''Date de fin'':concept|EST|''Lundi 18 Novembre 2024'':__inferred__'
- '''Région IDF'':organisation|PROPOSE|''Grands Lieux d''Innovation'':programme'
- '''Date de fin'':concept|EST|''non précisée'':__inferred__'
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-base
results:
- task:
type: binary-classification
name: Binary Classification
dataset:
name: BinaryClassifEval
type: BinaryClassifEval
metrics:
- type: cosine_accuracy
value: 0.7058340180772391
name: Cosine Accuracy
- type: cosine_accuracy_threshold
value: 0.793916642665863
name: Cosine Accuracy Threshold
- type: cosine_f1
value: 0.7171875
name: Cosine F1
- type: cosine_f1_threshold
value: 0.7811518907546997
name: Cosine F1 Threshold
- type: cosine_precision
value: 0.6912650602409639
name: Cosine Precision
- type: cosine_recall
value: 0.7451298701298701
name: Cosine Recall
- type: cosine_ap
value: 0.7612878163621353
name: Cosine Ap
- type: cosine_mcc
value: 0.4056919853026572
name: Cosine Mcc
SentenceTransformer based on intfloat/multilingual-e5-base
This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: intfloat/multilingual-e5-base
- Maximum Sequence Length: 512 tokens
- Output Dimensionality: 768 dimensions
- Similarity Function: Cosine Similarity
- Training Dataset:
- json
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Lettria/grag-go-idf-contrastive_8083-v2-trial-6")
# Run inference
sentences = [
'Date de début: non précisée\nDate de fin (clôture): non précisée\nDate de début de la future campagne: non précisée',
"'Date de fin':concept|EST|'non précisée':__inferred__",
"'Date de fin':concept|EST|'Lundi 18 Novembre 2024':__inferred__",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Evaluation
Metrics
Binary Classification
- Dataset:
BinaryClassifEval
- Evaluated with
BinaryClassificationEvaluator
Metric | Value |
---|---|
cosine_accuracy | 0.7058 |
cosine_accuracy_threshold | 0.7939 |
cosine_f1 | 0.7172 |
cosine_f1_threshold | 0.7812 |
cosine_precision | 0.6913 |
cosine_recall | 0.7451 |
cosine_ap | 0.7613 |
cosine_mcc | 0.4057 |
Training Details
Training Dataset
json
- Dataset: json
- Size: 4,861 training samples
- Columns:
sentence1
,sentence2
, andlabel
- Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label type string string int details - min: 26 tokens
- mean: 191.64 tokens
- max: 429 tokens
- min: 18 tokens
- mean: 31.2 tokens
- max: 72 tokens
- 1: 100.00%
- Samples:
sentence1 sentence2 label Type de project: L’excès de précipitations tout au long de l’année a conduit à une chute spectaculaire des rendements des céréales d’été et des protéagineux (blé, orge, pois, féverole, etc.) que produisent 90% des agriculteurs d’Île-de-France, historique grenier à blé du pays. Tributaires naturels du fleurissement des cultures, les apiculteurs professionnels de la région ont également souffert de ces dérèglements climatiques.La Région accompagne les exploitations concernées en leur apportant une aide exceptionnelle.
'excès de précipitations':phénomène
DIMINUE Type de project: Dans le cadre de sa stratégie « Impact 2028 », la Région s’engage dans la défense de la souveraineté industrielle en renforçant son soutien à une industrie circulaire et décarbonée, porteuse d’innovations et créatrice d’emplois. PM'up Jeunes pousses industrielles soutient les projets d’implantation d’une première usine tournée vers la décarbonation, l’efficacité énergétique et la circularité des processus de production. Ces projets peuvent prendre l'une de ces formes : Une première unité de production industrielle, après une phase de prototypage,Une ligne pilote de production industrielle, en interne ou chez un tiers situé en Île-de-France, à condition que sa production soit destinée à de premières commercialisations,La transformation d’une unité de production pilote à une unité de production industrielle
'Région Île-de-France':organisation
soutient Procédures et démarches: Le dépôt des demandes de subvention se fait en ligne sur la plateforme régionale mesdemarches.iledefrance.fr : Session de dépôt unique pour les nouvelles demandes : du 30 septembre au 4 novembre 2024 (11 heures) pour des festivals qui se déroulent entre le 1er mars 2025 et le 28 février 2026 (vote à la CP de mars 2025). Pour les demandes de renouvellement, un mail est envoyé aux structures concernées par le service du Spectacle vivant en amont de chaque session de dépôt.
Bénéficiaires: Professionnel - Culture, Association - Fondation, Association - Régie par la loi de 1901, Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPC...'Collectivité ou institution - EPCI':bénéficiaire
PEUT_BÉNÉFICIER - Loss:
ContrastiveLoss
with these parameters:{ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true }
Evaluation Dataset
json
- Dataset: json
- Size: 1,217 evaluation samples
- Columns:
sentence1
,sentence2
, andlabel
- Approximate statistics based on the first 1000 samples:
sentence1 sentence2 label type string string int details - min: 24 tokens
- mean: 188.47 tokens
- max: 394 tokens
- min: 17 tokens
- mean: 31.22 tokens
- max: 133 tokens
- 0: ~38.40%
- 1: ~61.60%
- Samples:
sentence1 sentence2 label Type de project: Le programme propose des rencontres le samedi après-midi dans une université ou une grande école réputée, entre les professionnels bénévoles et les lycéens et collégiens sous la forme d'atelier thématiques. Ces moments de rencontre touchent à une grande multitude de domaines d’activités. L'objectif est de donner l’opportunité aux jeunes les plus enclavés d’échanger avec des intervenants professionnels aux parcours atypiques et inspirants. Les intervenants suscitent les ambitions et élargissent les perspectives des élèves.
'rencontres':événement
impliquent Précision sure les bénéficiaires: Communes,Établissements publics de coopération intercommunale (avec ou sans fiscalité propre),Établissements publics territoriaux franciliens,Départements,Aménageurs publics et privés (lorsque ces derniers interviennent à la demande ou pour le compte d'une collectivité précitée).
'Aménageurs privés':entité
INTERVIENT_POUR Date de début: non précisée
Date de fin (clôture): non précisée
Date de début de la future campagne: non précisée'Date de fin':concept
EST - Loss:
ContrastiveLoss
with these parameters:{ "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true }
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy
: epochper_device_train_batch_size
: 4per_device_eval_batch_size
: 4gradient_accumulation_steps
: 2learning_rate
: 2.0007927807284357e-05num_train_epochs
: 10lr_scheduler_type
: cosinewarmup_steps
: 320bf16
: Truetf32
: Trueload_best_model_at_end
: Trueoptim
: adamw_torch_fusedhub_model_id
: Lettria/grag-go-idf-contrastive_8083-v2-trial-6
All Hyperparameters
Click to expand
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: epochprediction_loss_only
: Trueper_device_train_batch_size
: 4per_device_eval_batch_size
: 4per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 2eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 2.0007927807284357e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 10max_steps
: -1lr_scheduler_type
: cosinelr_scheduler_kwargs
: {}warmup_ratio
: 0.0warmup_steps
: 320log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Truefp16
: Falsefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Truelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Trueignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torch_fusedoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Lettria/grag-go-idf-contrastive_8083-v2-trial-6hub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: batch_samplermulti_dataset_batch_sampler
: proportional
Training Logs
Click to expand
Epoch | Step | Training Loss | Validation Loss | BinaryClassifEval_cosine_ap |
---|---|---|---|---|
0.0658 | 40 | 0.0617 | - | - |
0.1316 | 80 | 0.0552 | - | - |
0.1974 | 120 | 0.0538 | - | - |
0.2632 | 160 | 0.0488 | - | - |
0.3289 | 200 | 0.0498 | - | - |
0.3947 | 240 | 0.0458 | - | - |
0.4605 | 280 | 0.0425 | - | - |
0.5263 | 320 | 0.0398 | - | - |
0.5921 | 360 | 0.0403 | - | - |
0.6579 | 400 | 0.0377 | - | - |
0.7237 | 440 | 0.0339 | - | - |
0.7895 | 480 | 0.0372 | - | - |
0.8553 | 520 | 0.0364 | - | - |
0.9211 | 560 | 0.0358 | - | - |
0.9868 | 600 | 0.0326 | - | - |
1.0 | 608 | - | 0.0268 | 0.7613 |
1.0526 | 640 | 0.0335 | - | - |
1.1184 | 680 | 0.0296 | - | - |
1.1842 | 720 | 0.0273 | - | - |
1.25 | 760 | 0.0253 | - | - |
1.3158 | 800 | 0.0249 | - | - |
1.3816 | 840 | 0.0276 | - | - |
1.4474 | 880 | 0.0255 | - | - |
1.5132 | 920 | 0.0204 | - | - |
1.5789 | 960 | 0.026 | - | - |
1.6447 | 1000 | 0.0202 | - | - |
1.7105 | 1040 | 0.0224 | - | - |
1.7763 | 1080 | 0.0246 | - | - |
1.8421 | 1120 | 0.0249 | - | - |
1.9079 | 1160 | 0.0214 | - | - |
1.9737 | 1200 | 0.0212 | - | - |
2.0 | 1216 | - | 0.0286 | 0.7398 |
2.0395 | 1240 | 0.0181 | - | - |
2.1053 | 1280 | 0.0156 | - | - |
2.1711 | 1320 | 0.0142 | - | - |
2.2368 | 1360 | 0.0189 | - | - |
2.3026 | 1400 | 0.0154 | - | - |
2.3684 | 1440 | 0.0184 | - | - |
2.4342 | 1480 | 0.0144 | - | - |
2.5 | 1520 | 0.0181 | - | - |
2.5658 | 1560 | 0.0154 | - | - |
2.6316 | 1600 | 0.0144 | - | - |
2.6974 | 1640 | 0.0175 | - | - |
2.7632 | 1680 | 0.0133 | - | - |
2.8289 | 1720 | 0.0163 | - | - |
2.8947 | 1760 | 0.012 | - | - |
2.9605 | 1800 | 0.0168 | - | - |
3.0 | 1824 | - | 0.0296 | 0.7407 |
3.0263 | 1840 | 0.0125 | - | - |
3.0921 | 1880 | 0.0115 | - | - |
3.1579 | 1920 | 0.0102 | - | - |
3.2237 | 1960 | 0.0097 | - | - |
3.2895 | 2000 | 0.0101 | - | - |
3.3553 | 2040 | 0.0104 | - | - |
3.4211 | 2080 | 0.0105 | - | - |
3.4868 | 2120 | 0.0105 | - | - |
3.5526 | 2160 | 0.0104 | - | - |
3.6184 | 2200 | 0.0088 | - | - |
3.6842 | 2240 | 0.0109 | - | - |
3.75 | 2280 | 0.0123 | - | - |
3.8158 | 2320 | 0.0102 | - | - |
3.8816 | 2360 | 0.0099 | - | - |
3.9474 | 2400 | 0.0103 | - | - |
4.0 | 2432 | - | 0.0294 | 0.7537 |
4.0132 | 2440 | 0.0093 | - | - |
4.0789 | 2480 | 0.0067 | - | - |
4.1447 | 2520 | 0.0083 | - | - |
4.2105 | 2560 | 0.0081 | - | - |
4.2763 | 2600 | 0.0083 | - | - |
4.3421 | 2640 | 0.0059 | - | - |
4.4079 | 2680 | 0.008 | - | - |
4.4737 | 2720 | 0.0078 | - | - |
4.5395 | 2760 | 0.0062 | - | - |
4.6053 | 2800 | 0.0064 | - | - |
4.6711 | 2840 | 0.0051 | - | - |
4.7368 | 2880 | 0.0059 | - | - |
4.8026 | 2920 | 0.0074 | - | - |
4.8684 | 2960 | 0.0068 | - | - |
4.9342 | 3000 | 0.0082 | - | - |
5.0 | 3040 | 0.0085 | 0.0319 | 0.7341 |
5.0658 | 3080 | 0.004 | - | - |
5.1316 | 3120 | 0.0049 | - | - |
5.1974 | 3160 | 0.005 | - | - |
5.2632 | 3200 | 0.0059 | - | - |
5.3289 | 3240 | 0.005 | - | - |
5.3947 | 3280 | 0.0047 | - | - |
5.4605 | 3320 | 0.0044 | - | - |
5.5263 | 3360 | 0.0046 | - | - |
5.5921 | 3400 | 0.0044 | - | - |
5.6579 | 3440 | 0.0065 | - | - |
5.7237 | 3480 | 0.0054 | - | - |
5.7895 | 3520 | 0.0062 | - | - |
5.8553 | 3560 | 0.0054 | - | - |
5.9211 | 3600 | 0.0041 | - | - |
5.9868 | 3640 | 0.0048 | - | - |
6.0 | 3648 | - | 0.0336 | 0.7182 |
6.0526 | 3680 | 0.0035 | - | - |
6.1184 | 3720 | 0.0029 | - | - |
6.1842 | 3760 | 0.0033 | - | - |
6.25 | 3800 | 0.0048 | - | - |
6.3158 | 3840 | 0.0058 | - | - |
6.3816 | 3880 | 0.0037 | - | - |
6.4474 | 3920 | 0.0035 | - | - |
6.5132 | 3960 | 0.0043 | - | - |
6.5789 | 4000 | 0.004 | - | - |
6.6447 | 4040 | 0.0026 | - | - |
6.7105 | 4080 | 0.0055 | - | - |
6.7763 | 4120 | 0.0031 | - | - |
6.8421 | 4160 | 0.0037 | - | - |
6.9079 | 4200 | 0.0036 | - | - |
6.9737 | 4240 | 0.0046 | - | - |
7.0 | 4256 | - | 0.0338 | 0.7097 |
7.0395 | 4280 | 0.0027 | - | - |
7.1053 | 4320 | 0.0026 | - | - |
7.1711 | 4360 | 0.0034 | - | - |
7.2368 | 4400 | 0.0039 | - | - |
7.3026 | 4440 | 0.0023 | - | - |
7.3684 | 4480 | 0.0034 | - | - |
7.4342 | 4520 | 0.0022 | - | - |
7.5 | 4560 | 0.0045 | - | - |
7.5658 | 4600 | 0.0027 | - | - |
7.6316 | 4640 | 0.0036 | - | - |
7.6974 | 4680 | 0.0031 | - | - |
7.7632 | 4720 | 0.0018 | - | - |
7.8289 | 4760 | 0.0019 | - | - |
7.8947 | 4800 | 0.0029 | - | - |
7.9605 | 4840 | 0.0033 | - | - |
8.0 | 4864 | - | 0.0338 | 0.7093 |
8.0263 | 4880 | 0.0029 | - | - |
8.0921 | 4920 | 0.0023 | - | - |
8.1579 | 4960 | 0.0026 | - | - |
8.2237 | 5000 | 0.0026 | - | - |
8.2895 | 5040 | 0.0025 | - | - |
8.3553 | 5080 | 0.0033 | - | - |
8.4211 | 5120 | 0.0031 | - | - |
8.4868 | 5160 | 0.0025 | - | - |
8.5526 | 5200 | 0.0025 | - | - |
8.6184 | 5240 | 0.0022 | - | - |
8.6842 | 5280 | 0.002 | - | - |
8.75 | 5320 | 0.0025 | - | - |
8.8158 | 5360 | 0.0018 | - | - |
8.8816 | 5400 | 0.0018 | - | - |
8.9474 | 5440 | 0.0031 | - | - |
9.0 | 5472 | - | 0.0342 | 0.7133 |
9.0132 | 5480 | 0.002 | - | - |
9.0789 | 5520 | 0.0026 | - | - |
9.1447 | 5560 | 0.0017 | - | - |
9.2105 | 5600 | 0.003 | - | - |
9.2763 | 5640 | 0.002 | - | - |
9.3421 | 5680 | 0.0019 | - | - |
9.4079 | 5720 | 0.0022 | - | - |
9.4737 | 5760 | 0.0018 | - | - |
9.5395 | 5800 | 0.0035 | - | - |
9.6053 | 5840 | 0.0024 | - | - |
9.6711 | 5880 | 0.0027 | - | - |
9.7368 | 5920 | 0.002 | - | - |
9.8026 | 5960 | 0.0029 | - | - |
9.8684 | 6000 | 0.0018 | - | - |
9.9342 | 6040 | 0.0022 | - | - |
10.0 | 6080 | 0.0023 | 0.0268 | 0.7613 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.11.9
- Sentence Transformers: 3.4.1
- Transformers: 4.48.3
- PyTorch: 2.3.0
- Accelerate: 1.1.0
- Datasets: 3.3.2
- Tokenizers: 0.21.0
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
ContrastiveLoss
@inproceedings{hadsell2006dimensionality,
author={Hadsell, R. and Chopra, S. and LeCun, Y.},
booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
title={Dimensionality Reduction by Learning an Invariant Mapping},
year={2006},
volume={2},
number={},
pages={1735-1742},
doi={10.1109/CVPR.2006.100}
}