romain125's picture
End of training
998638c verified
metadata
base_model: intfloat/multilingual-e5-base
library_name: sentence-transformers
metrics:
  - cosine_accuracy
  - cosine_accuracy_threshold
  - cosine_f1
  - cosine_f1_threshold
  - cosine_precision
  - cosine_recall
  - cosine_ap
  - cosine_mcc
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:4861
  - loss:ContrastiveLoss
widget:
  - source_sentence: >-
      Type de project: Actions de valorisation (expos physiques ou virtuelles,
      journées d’étude, site internet, publications, documentaires…),Outils de
      médiation  (cartes et itinéraires papier ou numériques, livrets de visite,
      outils numériques, multimédia, parcours d’interprétation…),Dispositifs
      pédagogiques (mallettes pédagogiques, Moocs, supports de visite à
      destination des jeunes…),Événements rayonnant à l’échelle de
      l’Île-de-France. Une attention particulière sera portée à la qualité des
      contenus, à l’originalité et la pertinence des outils ou actions proposés,
      et à leur adéquation avec les publics ciblés.
    sentences:
      - >-
        'Actions de valorisation':projet|ÉVALUÉ_PAR|'adéquation avec les publics
        ciblés':critère
      - >-
        'mesdemarches.iledefrance.fr':plateforme|ACCEPTE_DEMANDE|'Association -
        Fondation':entité
      - '''projets de coopération'':projet|IMPLIQUE|''agriculteur cédant'':personne'
  - source_sentence: >-
      Description: Cet appel à projets vise à soutenir les structures en
      investissement qui agissent en faveur des jeunes en situation de
      précarité, suite à une rupture familiale ou sociale pouvant entraîner de
      graves conséquences sur leur santé ou leur sécurité.

      Thèmes: Santé & Social : Solidarité

      Nature de l'aide: Les dépenses éligibles se composent de dépenses de
      fonctionnement exclusivement imputables à la mise en œuvre des projets
      retenus dans le cadre de ce dispositif. La subvention régionale est fixée
      à 50 % maximum de la dépense subventionnable (total des dépenses
      éligibles), dans la limite d’un plafond de subvention fixé à 75 000 
      maximum.

      Délibération cadre: CR 100-16 du 22 septembre 2016 / CP 2018-428 du 17
      octobre 2018
    sentences:
      - >-
        'C'POSSIBLE':programme|FAVORISE_INSERTION_PROFESSIONNELLE|'lycéens':groupe
      - '''Date de début'':concept|EST|''non précisée'':__inferred__'
      - '''subvention régionale'':aide|LIMITE|''appel à projets'':projet'
  - source_sentence: >-
      Type de project: Le programme propose des rencontres le samedi après-midi
      dans une université ou une grande école réputée, entre les professionnels
      bénévoles et les lycéens et collégiens sous la forme d'atelier
      thématiques.  Ces moments de rencontre touchent à une grande multitude de
      domaines d’activités.  L'objectif est de donner l’opportunité aux jeunes
      les plus enclavés d’échanger avec des intervenants professionnels aux
      parcours atypiques et inspirants. Les intervenants suscitent les ambitions
      et élargissent les perspectives des élèves.
    sentences:
      - '''concours'':événement|CIBLE|''jeunes'':groupe'
      - >-
        'projets':__inferred__|TÉLÉCHARGER_ET_REMPLIR|'charte des valeurs de la
        République et de la laïcité':document
      - '''programme'':initiative|IMPLIQUE|''lycéens'':groupe'
  - source_sentence: "Type de project: Le Prix des Innovateurs vise à encourager, soutenir et valoriser la recherche, le transfert de technologie et l’émergence d’innovations en santé dont l’impact sociétal et de santé publique est remarquable.\_Ce prix a ainsi vocation à :\_ Contribuer à la reconnaissance d’un chercheur et de son équipe menant des recherches dans le secteur de la santé,Encourager la création de spin-off de laboratoires académiques en garantissant les meilleures conditions d’essaimage notamment par l’acquisition des compétences requises par l’ensemble des membres de l’équipe,Renforcer"
    sentences:
      - >-
        '2nde session de dépôt':session|diffusion prévue|'diffusion à partir de
        novembre 2025':__inferred__
      - '''chercheur'':personne|DIRIGE|''équipe de recherche'':groupe'
      - >-
        'Collectivité ou institution - Communes de > 20 000
        hab':organisation|éligible pour|'dépôt des demandes de
        subvention':procédure
  - source_sentence: |-
      Date de début: non précisée
      Date de fin (clôture): non précisée
      Date de début de la future campagne: non précisée
    sentences:
      - '''Date de fin'':concept|EST|''Lundi 18 Novembre 2024'':__inferred__'
      - '''Région IDF'':organisation|PROPOSE|''Grands Lieux d''Innovation'':programme'
      - '''Date de fin'':concept|EST|''non précisée'':__inferred__'
model-index:
  - name: SentenceTransformer based on intfloat/multilingual-e5-base
    results:
      - task:
          type: binary-classification
          name: Binary Classification
        dataset:
          name: BinaryClassifEval
          type: BinaryClassifEval
        metrics:
          - type: cosine_accuracy
            value: 0.7058340180772391
            name: Cosine Accuracy
          - type: cosine_accuracy_threshold
            value: 0.793916642665863
            name: Cosine Accuracy Threshold
          - type: cosine_f1
            value: 0.7171875
            name: Cosine F1
          - type: cosine_f1_threshold
            value: 0.7811518907546997
            name: Cosine F1 Threshold
          - type: cosine_precision
            value: 0.6912650602409639
            name: Cosine Precision
          - type: cosine_recall
            value: 0.7451298701298701
            name: Cosine Recall
          - type: cosine_ap
            value: 0.7612878163621353
            name: Cosine Ap
          - type: cosine_mcc
            value: 0.4056919853026572
            name: Cosine Mcc

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
    • json

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Lettria/grag-go-idf-contrastive_8083-v2-trial-6")
# Run inference
sentences = [
    'Date de début: non précisée\nDate de fin (clôture): non précisée\nDate de début de la future campagne: non précisée',
    "'Date de fin':concept|EST|'non précisée':__inferred__",
    "'Date de fin':concept|EST|'Lundi 18 Novembre 2024':__inferred__",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

Metric Value
cosine_accuracy 0.7058
cosine_accuracy_threshold 0.7939
cosine_f1 0.7172
cosine_f1_threshold 0.7812
cosine_precision 0.6913
cosine_recall 0.7451
cosine_ap 0.7613
cosine_mcc 0.4057

Training Details

Training Dataset

json

  • Dataset: json
  • Size: 4,861 training samples
  • Columns: sentence1, sentence2, and label
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 label
    type string string int
    details
    • min: 26 tokens
    • mean: 191.64 tokens
    • max: 429 tokens
    • min: 18 tokens
    • mean: 31.2 tokens
    • max: 72 tokens
    • 1: 100.00%
  • Samples:
    sentence1 sentence2 label
    Type de project: L’excès de précipitations tout au long de l’année a conduit à une chute spectaculaire des rendements des céréales d’été et des protéagineux (blé, orge, pois, féverole, etc.) que produisent 90% des agriculteurs d’Île-de-France, historique grenier à blé du pays. Tributaires naturels du fleurissement des cultures, les apiculteurs professionnels de la région ont également souffert de ces dérèglements climatiques.La Région accompagne les exploitations concernées en leur apportant une aide exceptionnelle. 'excès de précipitations':phénomène DIMINUE
    Type de project: Dans le cadre de sa stratégie « Impact 2028 », la Région s’engage dans la défense de la souveraineté industrielle en renforçant son soutien à une industrie circulaire et décarbonée, porteuse d’innovations et créatrice d’emplois. PM'up Jeunes pousses industrielles soutient les projets d’implantation d’une première usine tournée vers la décarbonation, l’efficacité énergétique et la circularité des processus de production. Ces projets peuvent prendre l'une de ces formes : Une première unité de production industrielle, après une phase de prototypage,Une ligne pilote de production industrielle, en interne ou chez un tiers situé en Île-de-France, à condition que sa production soit destinée à de premières commercialisations,La transformation d’une unité de production pilote à une unité de production industrielle 'Région Île-de-France':organisation soutient
    Procédures et démarches: Le dépôt des demandes de subvention se fait en ligne sur la plateforme régionale mesdemarches.iledefrance.fr : Session de dépôt unique pour les nouvelles demandes : du 30 septembre au 4 novembre 2024 (11 heures) pour des festivals qui se déroulent entre le 1er mars 2025 et le 28 février 2026 (vote à la CP de mars 2025). Pour les demandes de renouvellement, un mail est envoyé aux structures concernées par le service du Spectacle vivant en amont de chaque session de dépôt.
    Bénéficiaires: Professionnel - Culture, Association - Fondation, Association - Régie par la loi de 1901, Association - ONG, Collectivité ou institution - Communes de 10 000 à 20 000 hab, Collectivité ou institution - Autre (GIP, copropriété, EPA...), Collectivité ou institution - Communes de 2000 à 10 000 hab, Collectivité ou institution - Communes de < 2000 hab, Collectivité ou institution - Communes de > 20 000 hab, Collectivité ou institution - Département, Collectivité ou institution - EPC...
    'Collectivité ou institution - EPCI':bénéficiaire PEUT_BÉNÉFICIER
  • Loss: ContrastiveLoss with these parameters:
    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

Evaluation Dataset

json

  • Dataset: json
  • Size: 1,217 evaluation samples
  • Columns: sentence1, sentence2, and label
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 label
    type string string int
    details
    • min: 24 tokens
    • mean: 188.47 tokens
    • max: 394 tokens
    • min: 17 tokens
    • mean: 31.22 tokens
    • max: 133 tokens
    • 0: ~38.40%
    • 1: ~61.60%
  • Samples:
    sentence1 sentence2 label
    Type de project: Le programme propose des rencontres le samedi après-midi dans une université ou une grande école réputée, entre les professionnels bénévoles et les lycéens et collégiens sous la forme d'atelier thématiques. Ces moments de rencontre touchent à une grande multitude de domaines d’activités. L'objectif est de donner l’opportunité aux jeunes les plus enclavés d’échanger avec des intervenants professionnels aux parcours atypiques et inspirants. Les intervenants suscitent les ambitions et élargissent les perspectives des élèves. 'rencontres':événement impliquent
    Précision sure les bénéficiaires: Communes,Établissements publics de coopération intercommunale (avec ou sans fiscalité propre),Établissements publics territoriaux franciliens,Départements,Aménageurs publics et privés (lorsque ces derniers interviennent à la demande ou pour le compte d'une collectivité précitée). 'Aménageurs privés':entité INTERVIENT_POUR
    Date de début: non précisée
    Date de fin (clôture): non précisée
    Date de début de la future campagne: non précisée
    'Date de fin':concept EST
  • Loss: ContrastiveLoss with these parameters:
    {
        "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
        "margin": 0.5,
        "size_average": true
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: epoch
  • per_device_train_batch_size: 4
  • per_device_eval_batch_size: 4
  • gradient_accumulation_steps: 2
  • learning_rate: 2.0007927807284357e-05
  • num_train_epochs: 10
  • lr_scheduler_type: cosine
  • warmup_steps: 320
  • bf16: True
  • tf32: True
  • load_best_model_at_end: True
  • optim: adamw_torch_fused
  • hub_model_id: Lettria/grag-go-idf-contrastive_8083-v2-trial-6

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: epoch
  • prediction_loss_only: True
  • per_device_train_batch_size: 4
  • per_device_eval_batch_size: 4
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 2
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2.0007927807284357e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 10
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 320
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: Lettria/grag-go-idf-contrastive_8083-v2-trial-6
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss Validation Loss BinaryClassifEval_cosine_ap
0.0658 40 0.0617 - -
0.1316 80 0.0552 - -
0.1974 120 0.0538 - -
0.2632 160 0.0488 - -
0.3289 200 0.0498 - -
0.3947 240 0.0458 - -
0.4605 280 0.0425 - -
0.5263 320 0.0398 - -
0.5921 360 0.0403 - -
0.6579 400 0.0377 - -
0.7237 440 0.0339 - -
0.7895 480 0.0372 - -
0.8553 520 0.0364 - -
0.9211 560 0.0358 - -
0.9868 600 0.0326 - -
1.0 608 - 0.0268 0.7613
1.0526 640 0.0335 - -
1.1184 680 0.0296 - -
1.1842 720 0.0273 - -
1.25 760 0.0253 - -
1.3158 800 0.0249 - -
1.3816 840 0.0276 - -
1.4474 880 0.0255 - -
1.5132 920 0.0204 - -
1.5789 960 0.026 - -
1.6447 1000 0.0202 - -
1.7105 1040 0.0224 - -
1.7763 1080 0.0246 - -
1.8421 1120 0.0249 - -
1.9079 1160 0.0214 - -
1.9737 1200 0.0212 - -
2.0 1216 - 0.0286 0.7398
2.0395 1240 0.0181 - -
2.1053 1280 0.0156 - -
2.1711 1320 0.0142 - -
2.2368 1360 0.0189 - -
2.3026 1400 0.0154 - -
2.3684 1440 0.0184 - -
2.4342 1480 0.0144 - -
2.5 1520 0.0181 - -
2.5658 1560 0.0154 - -
2.6316 1600 0.0144 - -
2.6974 1640 0.0175 - -
2.7632 1680 0.0133 - -
2.8289 1720 0.0163 - -
2.8947 1760 0.012 - -
2.9605 1800 0.0168 - -
3.0 1824 - 0.0296 0.7407
3.0263 1840 0.0125 - -
3.0921 1880 0.0115 - -
3.1579 1920 0.0102 - -
3.2237 1960 0.0097 - -
3.2895 2000 0.0101 - -
3.3553 2040 0.0104 - -
3.4211 2080 0.0105 - -
3.4868 2120 0.0105 - -
3.5526 2160 0.0104 - -
3.6184 2200 0.0088 - -
3.6842 2240 0.0109 - -
3.75 2280 0.0123 - -
3.8158 2320 0.0102 - -
3.8816 2360 0.0099 - -
3.9474 2400 0.0103 - -
4.0 2432 - 0.0294 0.7537
4.0132 2440 0.0093 - -
4.0789 2480 0.0067 - -
4.1447 2520 0.0083 - -
4.2105 2560 0.0081 - -
4.2763 2600 0.0083 - -
4.3421 2640 0.0059 - -
4.4079 2680 0.008 - -
4.4737 2720 0.0078 - -
4.5395 2760 0.0062 - -
4.6053 2800 0.0064 - -
4.6711 2840 0.0051 - -
4.7368 2880 0.0059 - -
4.8026 2920 0.0074 - -
4.8684 2960 0.0068 - -
4.9342 3000 0.0082 - -
5.0 3040 0.0085 0.0319 0.7341
5.0658 3080 0.004 - -
5.1316 3120 0.0049 - -
5.1974 3160 0.005 - -
5.2632 3200 0.0059 - -
5.3289 3240 0.005 - -
5.3947 3280 0.0047 - -
5.4605 3320 0.0044 - -
5.5263 3360 0.0046 - -
5.5921 3400 0.0044 - -
5.6579 3440 0.0065 - -
5.7237 3480 0.0054 - -
5.7895 3520 0.0062 - -
5.8553 3560 0.0054 - -
5.9211 3600 0.0041 - -
5.9868 3640 0.0048 - -
6.0 3648 - 0.0336 0.7182
6.0526 3680 0.0035 - -
6.1184 3720 0.0029 - -
6.1842 3760 0.0033 - -
6.25 3800 0.0048 - -
6.3158 3840 0.0058 - -
6.3816 3880 0.0037 - -
6.4474 3920 0.0035 - -
6.5132 3960 0.0043 - -
6.5789 4000 0.004 - -
6.6447 4040 0.0026 - -
6.7105 4080 0.0055 - -
6.7763 4120 0.0031 - -
6.8421 4160 0.0037 - -
6.9079 4200 0.0036 - -
6.9737 4240 0.0046 - -
7.0 4256 - 0.0338 0.7097
7.0395 4280 0.0027 - -
7.1053 4320 0.0026 - -
7.1711 4360 0.0034 - -
7.2368 4400 0.0039 - -
7.3026 4440 0.0023 - -
7.3684 4480 0.0034 - -
7.4342 4520 0.0022 - -
7.5 4560 0.0045 - -
7.5658 4600 0.0027 - -
7.6316 4640 0.0036 - -
7.6974 4680 0.0031 - -
7.7632 4720 0.0018 - -
7.8289 4760 0.0019 - -
7.8947 4800 0.0029 - -
7.9605 4840 0.0033 - -
8.0 4864 - 0.0338 0.7093
8.0263 4880 0.0029 - -
8.0921 4920 0.0023 - -
8.1579 4960 0.0026 - -
8.2237 5000 0.0026 - -
8.2895 5040 0.0025 - -
8.3553 5080 0.0033 - -
8.4211 5120 0.0031 - -
8.4868 5160 0.0025 - -
8.5526 5200 0.0025 - -
8.6184 5240 0.0022 - -
8.6842 5280 0.002 - -
8.75 5320 0.0025 - -
8.8158 5360 0.0018 - -
8.8816 5400 0.0018 - -
8.9474 5440 0.0031 - -
9.0 5472 - 0.0342 0.7133
9.0132 5480 0.002 - -
9.0789 5520 0.0026 - -
9.1447 5560 0.0017 - -
9.2105 5600 0.003 - -
9.2763 5640 0.002 - -
9.3421 5680 0.0019 - -
9.4079 5720 0.0022 - -
9.4737 5760 0.0018 - -
9.5395 5800 0.0035 - -
9.6053 5840 0.0024 - -
9.6711 5880 0.0027 - -
9.7368 5920 0.002 - -
9.8026 5960 0.0029 - -
9.8684 6000 0.0018 - -
9.9342 6040 0.0022 - -
10.0 6080 0.0023 0.0268 0.7613
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.11.9
  • Sentence Transformers: 3.4.1
  • Transformers: 4.48.3
  • PyTorch: 2.3.0
  • Accelerate: 1.1.0
  • Datasets: 3.3.2
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}