metadata
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:16825
- loss:MultipleNegativesRankingLoss
base_model: codersan/FaLaBSE-v12-phase1-Quora
widget:
- source_sentence: تصمیم سال جدید شما چیست؟
sentences:
- تصمیم سال جدید شما چیست؟
- من ۱۸ ساله هستم. چگونه می توانم آنلاین درآمد کسب کنم؟
- یک حیوان در یک باغچه از این طرف به آن طرف میچرخد
- source_sentence: >-
قرارگیری سه مبحث مهم استقلال، آزادی و جمهوری اسلامی در کنار یکدیگر و
اجرایی شدن همزمان آنها در یک نظام سیاسی، بزرگترین دستاورد انقلاب اسلامی
محسوب میشود.
sentences:
- استقلال، آزادی و جمهوری اسلامی بزرگترین دستاورد انقلاب اسلامی است.
- یک سگ زرد از بطری آب میخورد
- پسری روی اسب یورتمه می زند
- source_sentence: >-
درست است. فکر می کنم با مکزیک و کانادا مشکل مشابهی را داشته باشیم و از طرف
دیگر انگلیسی یکی از زبانهای ملی آنها است.
sentences:
- >-
ما احتمالاً در مورد استفاده از زبان انگلیسی مشکلات مشابه مکزیک و کانادا
را داریم.
- مردی ورزش میکند
- >-
در دوران سلطان سلیمان عثمانی، امپراطوری عثمانی در موقعیت سیاسی و نظامی
ممتازی قرار داشت و به منتهای قدرت و وسعت خود رسید.
- source_sentence: >-
قطعنامه ۵۹۸ شورای امنیت یکی از قطعنامههای شورای امنیت است که در ۲۹ تیر
۱۳۶۶ ، برای پایان دادن به جنگ ایران و عراق صادر شد.
sentences:
- قطعنامه ۵۹۸ شورای امنیت سازمان ملل راجع به ایران و عراق صادر شد.
- غدیر در چه سالی واقع شده است؟
- زنی با لباس تاپ بنفش بین دو ستون سنگی دوچرخه ای را راه می برد
- source_sentence: چه مواد غذایی باعث باز شدن رگهای قلب می شود؟
sentences:
- چه مواد غذایی باعث گرم شدن رحم می شود؟
- بهترین چیز در هنگ کنگ چیست؟
- مردی بر روی دوچرخه در ساحل دوچرخه سواری می کند
pipeline_tag: sentence-similarity
library_name: sentence-transformers
SentenceTransformer based on codersan/FaLaBSE-v12-phase1-Quora
This is a sentence-transformers model finetuned from codersan/FaLaBSE-v12-phase1-Quora. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: codersan/FaLaBSE-v12-phase1-Quora
- Maximum Sequence Length: 256 tokens
- Output Dimensionality: 768 dimensions
- Similarity Function: Cosine Similarity
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
(3): Normalize()
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("codersan/FaLaBSE-v12-phase2")
# Run inference
sentences = [
'چه مواد غذایی باعث باز شدن رگهای قلب می شود؟',
'چه مواد غذایی باعث گرم شدن رحم می شود؟',
'بهترین چیز در هنگ کنگ چیست؟',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
Training Details
Training Dataset
Unnamed Dataset
- Size: 16,825 training samples
- Columns:
anchor
andpositive
- Approximate statistics based on the first 1000 samples:
anchor positive type string string details - min: 5 tokens
- mean: 21.42 tokens
- max: 146 tokens
- min: 5 tokens
- mean: 15.87 tokens
- max: 63 tokens
- Samples:
anchor positive بخشی از حقیقت هشت سال دفاع مقدس، در اختیار ماست و در جبهه های ما اتفاق افتاده است و بخش دیگر آن در دست ۳۶ کشوری است که چرخ ماشین جنگی عراق را روغن زدند و به آنها کمک کردند.
۳۶ کشور در دوران هشت سال دفاع مقدس به عراق کمک کردند.
چگونه به یک راننده Uber بدون پول نقد انعام بدهم؟
چرا Uber راهی برای رزرو یک سفر رفت و برگشت ارائه نمی دهد؟
آیا برنامه ای به نوعی وجود دارد که به شما امکان دیدن پروفایل های خصوصی در اینستاگرام را بدهد؟
آیا کسی می داند برنامه ای وجود دارد یا چیزی شبیه به این که به شما امکان می دهد پروفایل های خصوصی را در اینستاگرام مشاهده کنید؟
- Loss:
MultipleNegativesRankingLoss
with these parameters:{ "scale": 20.0, "similarity_fct": "cos_sim" }
Training Hyperparameters
Non-Default Hyperparameters
per_device_train_batch_size
: 32learning_rate
: 2e-05weight_decay
: 0.01num_train_epochs
: 1batch_sampler
: no_duplicates
All Hyperparameters
Click to expand
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: noprediction_loss_only
: Trueper_device_train_batch_size
: 32per_device_eval_batch_size
: 8per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonetorch_empty_cache_steps
: Nonelearning_rate
: 2e-05weight_decay
: 0.01adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 1max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.0warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Falsefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Nonehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseinclude_for_metrics
: []eval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falseuse_liger_kernel
: Falseeval_use_gather_object
: Falseaverage_tokens_across_devices
: Falseprompts
: Nonebatch_sampler
: no_duplicatesmulti_dataset_batch_sampler
: proportional
Training Logs
Epoch | Step | Training Loss |
---|---|---|
0.3802 | 100 | 0.1885 |
0.7605 | 200 | 0.158 |
Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.3.1
- Transformers: 4.47.0
- PyTorch: 2.5.1+cu121
- Accelerate: 1.2.1
- Datasets: 3.3.1
- Tokenizers: 0.21.0
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}