README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:16825
  - loss:MultipleNegativesRankingLoss
base_model: codersan/FaLaBSE-v12-phase1-Quora
widget:
  - source_sentence: تصمیم سال جدید شما چیست؟
    sentences:
      - تصمیم سال جدید شما چیست؟
      - من ۱۸ ساله هستم. چگونه می توانم آنلاین درآمد کسب کنم؟
      - یک حیوان در یک باغچه از این طرف به آن طرف می‌چرخد
  - source_sentence: >-
      قرارگیری سه مبحث مهم استقلال، آزادی و جمهوری اسلامی در کنار یکدیگر و
      اجرایی شدن همزمان آنها در یک نظام سیاسی، بزرگترین دستاورد انقلاب اسلامی
      محسوب می‌شود.
    sentences:
      - استقلال، آزادی و جمهوری اسلامی بزرگترین دستاورد انقلاب اسلامی است.
      - یک سگ زرد از بطری آب می‌خورد
      - پسری روی اسب یورتمه می زند
  - source_sentence: >-
      درست است. فکر می کنم با مکزیک و کانادا مشکل مشابهی را داشته باشیم و از طرف
      دیگر انگلیسی یکی از زبانهای ملی آنها است.
    sentences:
      - >-
        ما احتمالاً در مورد استفاده از زبان انگلیسی مشکلات مشابه مکزیک و کانادا
        را داریم.
      - مردی ورزش می‎کند
      - >-
        در دوران سلطان سلیمان عثمانی، امپراطوری عثمانی در موقعیت سیاسی و نظامی
        ممتازی قرار داشت و به منتهای قدرت و وسعت خود رسید.
  - source_sentence: >-
      قطعنامه ۵۹۸ شورای امنیت یکی از قطعنامه‌های شورای امنیت است که در ۲۹ تیر
      ۱۳۶۶ ، برای پایان دادن به جنگ ایران و عراق صادر شد.
    sentences:
      - قطعنامه ۵۹۸ شورای امنیت سازمان ملل راجع به ایران و عراق صادر شد.
      - غدیر در چه سالی واقع شده است؟
      - زنی با لباس تاپ بنفش بین دو ستون سنگی دوچرخه ای را راه می برد
  - source_sentence: چه مواد غذایی باعث باز شدن رگهای قلب می شود؟
    sentences:
      - چه مواد غذایی باعث گرم شدن رحم می شود؟
      - بهترین چیز در هنگ کنگ چیست؟
      - مردی بر روی دوچرخه در ساحل دوچرخه سواری می کند
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on codersan/FaLaBSE-v12-phase1-Quora

This is a sentence-transformers model finetuned from codersan/FaLaBSE-v12-phase1-Quora. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: codersan/FaLaBSE-v12-phase1-Quora
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (3): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("codersan/FaLaBSE-v12-phase2")
# Run inference
sentences = [
    'چه مواد غذایی باعث باز شدن رگهای قلب می شود؟',
    'چه مواد غذایی باعث گرم شدن رحم می شود؟',
    'بهترین چیز در هنگ کنگ چیست؟',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 16,825 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 21.42 tokens max: 146 tokens	min: 5 tokens mean: 15.87 tokens max: 63 tokens

• Samples:

  anchor	positive
  بخشی از حقیقت هشت سال دفاع مقدس، در اختیار ماست و در جبهه های ما اتفاق افتاده است و بخش دیگر آن در دست ۳۶ کشوری است که چرخ ماشین جنگی عراق را روغن زدند و به آنها کمک کردند.	۳۶ کشور در دوران هشت سال دفاع مقدس به عراق کمک کردند.
  چگونه به یک راننده Uber بدون پول نقد انعام بدهم؟	چرا Uber راهی برای رزرو یک سفر رفت و برگشت ارائه نمی دهد؟
  آیا برنامه ای به نوعی وجود دارد که به شما امکان دیدن پروفایل های خصوصی در اینستاگرام را بدهد؟	آیا کسی می داند برنامه ای وجود دارد یا چیزی شبیه به این که به شما امکان می دهد پروفایل های خصوصی را در اینستاگرام مشاهده کنید؟

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.3802	100	0.1885
0.7605	200	0.158

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.3.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}