x1saint/gte-small-tr

SentenceTransformer based on Supabase/gte-small

This is a sentence-transformers model finetuned from Supabase/gte-small on the all-nli-pair-class, stsb and x1saint datasets. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Supabase/gte-small
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • all-nli-pair-class
  • stsb
  • x1saint
• Language: tr

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("x1saint/gte-small-tr")
# Run inference
sentences = [
    'answers-forums',
    '2015',
    '1017',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-dev
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.427
spearman_cosine	0.4347

Training Details

Training Datasets

all-nli-pair-class

• Dataset: all-nli-pair-class at 67baa14
• Size: 474,283 training samples
• Columns: premise, hypothesis, and label
• Approximate statistics based on the first 1000 samples:

  	premise	hypothesis	label
  type	string	string	int
  details	min: 19 tokens mean: 419.29 tokens max: 512 tokens	min: 40 tokens mean: 401.34 tokens max: 512 tokens	0: ~40.80% 1: ~42.60% 2: ~16.60%

• Samples:

  premise	hypothesis	label
  Davacı tarafından davalı aleyhine açılan İtirazın İptali davasının mahkememizde yapılan açık yargılaması sonunda dosya incelendi. AÇILAN DAVA VE İDDİA :Davacı vekilinin dava dilekçesinde özetle; Müvekkilinin EPDK'dan (Enerji Piyasası DenetlemeKurumu) aldığı onay ile Eylül 2012 den bu yana tüm Türkiye'de elektrik enerjisi tedariki ve toptan satış hizmeti sunduğunu, davalıdan da davacı şirket ile akdettiği sözleşmeye binaen müvekkili şirkketten satın aldığı elektrik ödemelerini aksattıığı düzenlenen faturaları ödemedğinden temerrüde düştüğünü, davacı tarafından defalarca uyarılmasına rağmen de borcunu ödemedeğini bunün üzerine müvekkili İstanbul ... İcra müdürlüğünün ... Esas sayılı dosyasıda ilamsız icra takibi başlattığını davalının borca kötü niyetli olarak itiraz ettiğini ve takibin durduğunu itirazın iptali ile takibin devamına davalı hakkında haksız ve kötü niyetli irizları nedeniyle %20 den aşağı olmamak üzere icra inkar tazminatına hükmedilmesine ve yargılama gideri ile vekale...	Davacı vekili dava dilekçesinde özetle;Müvekkili ...'a karşı halihazırda 17/07/2018'de açılmış .... İcra Dairesi'nde ... Esas Sayılı dosya ile devam eden bir icra dosyası bulunduğunu, bu icra dosyası kapsamında 12/11/2018'den beri müvekkilinin maaşına haciz uygulandığını, dosya ödeme emrinde dosyanın dayanağı, "(Kredi kartı borcu) .... İcra-... Esas dosyalarından kaynaklanan alacağın takipte ve tahsilde tekerrür olmamak üzere tahsili talebidir." şeklinde yazıldığını, müvekkili ...'ın, 2003 yılında kimliğinin çalınarak bazı bankacılık ve telefon işlemlerinde kullanıldığını, adına kredi çekildiğini, kredi kartı çıkarıldığını, telefon hattı açıldığını ve o dönemde bu konuda şikayette bulunduğunu, ... Cumhuriyet Başsavcılığı'nca 28/01/2004 suç tarihli ... soruşturma numaralı dosyasına ulaşıldığını, bu dosyada, müvekkilinin şüpheli olarak görünmekte iken şikayetçi ...A.Ş.' olduğunu, yapılan soruşturma sonucunda gerçek şüpheli şahısların ortaya çıkarılamadığı, fakat müvekkilinin suçlu olmad...	0
  Davacı vekili dava dilekçesinde özetle; müvekkili şirket tarafından,----işbu sözleşmeye istinaden düzenlenen ---- ait alüminyum levha emtiasının, davalı taşıyıcı şirket tarafından, ---- tarihinde, dava dışı sigortalı firmanın ------ fabrikasından yüklenildiğini, davalı taşıyıcı firmanın sorumluluğunda, --- nakli gerçekleşen toplam ---; net ağırlığı --- uygun ambalajlar ile nakledilen emtiaların, gümrük işlemleri sonrası--- alıcı şirket tarafından --- tarihinde teslim alındığı ancak teslim esnasında ------paket no’lu levhaların ıslanması sebebi ile emtianın hasara uğramış olduğu tespit edilerek taşıma senedine ihtirazi kayıt düşüldüğü ve bu levhaların hurda edilmek üzere ayrıldığını, davalı taşıyıcı şirketin sorumluluk sahasında gerçekleşen işbu hasar sonrası, bağımsız ve uzman eksper tarafından yapılan incelemelere istinaden tanzim edilmiş olan ekspertiz raporunda; hasar nedeninin, emtianın taşıyıcının sorumluluğunda bulunduğu esnada ıslanarak hasara uğramış olmasından, ıslanan paketi...	Davacı vekili dava dilekçesinde özetle; Müvekkili------- ------------- tarihinde davalının------ aracın çarpması nedeniyle hasara uğradığını, meydana gelen kazada davalının %100 kusurlu olduğunu, müvekkili şirket tarafından zarar gören araç için ------ hasar tazminatı ödendiğini, yapılan incelemeler neticesinde davalının sigortacısı olduğu aracın kusurlu olduğunun tespit edildiğini, kaza neticesinde ------ aracın ---- geldiğini, buna göre aracın piyasa değerinin tespit edildiğini ve tespit edilen değerin ------------ tarafından, kalan ------ ise -----tarafından ödendiğini, ayrıca, -----aracın hasarı sırasında ------ kırılması,---- durdurulamaması nedeniyle ------- hasarın tespitinin de ayrıca gerekli hale geldiğini, bu nedenle müvekkili --------- hasarının tespiti için---------------nedeniyle-------- daha ödendiğini, davalının, kusurlu --------------- nedeniyle davalı tarafa başvurulduğunu, davalı tarafın --------- hiçbir gerekçesi olmaksızın ödemediğini, müvekkili şirket tarafından 1....	1
  Davacı vekili dava dilekçesinde özetle, müvekkili şirketin keşidecisi olduğu ----------------- Taşdelen Şubesine ait, ---- seri numaralı, 17.02.2019 vade tarihli, 50.000,00-TL bedelli çeki lehtara vermek üzere hazırlandığını ancak müvekkili şirket yetkilisinin cüzdanını kaybetmesi suretiyle çeklerin zayi olduğunu, söz konusu çeklerin kötü niyetli üçüncü kişilerin eline geçmesi halinde müvekkilinin mağdur olacağını, bu nedenle ödemeden men talimatı verilmesini ve zayi edilen çekin iptaline dair karar verilmesini talep ve dava etmiştir.	Davacı vekili dava dilekçesinde özetle; ... plakalı araç ... sayılı Genişletilmiş Kasko Sigortası Poliçesi ile müvekkili şirkete, sigortalı olduğunu, hadisenin, 14/06/2017 tarihinde ... plakalı aracın ... ... ... yolu üzerinde seyir halinde iken önünde seyir halinde bulunan sigortalı ... plakalı aracın trafik nedeniyle duraksaması nedeniyle duramayarak çarpması akabinde sigortalı ... plakalı aracın önünde seyir halinde bulunan ... plakalı araca, onun da önünde seyir halinde bulunan ... plakalı araca arkadan çarpması ve bu araçların sırasıyla ... aracın arkaya ... plakalı araca onun da duramayarak ... plakalı araca arkadan çarpması neticesinde çoklu maddi hasarlı trafik kazası meydana gelmiştir, Davalı/Borçlu ... sigortalısı olan ... plakalı aracın, müvekkil şirket sigortalısı olan ... Plakalı araca çarpması neticesinde maddi hasar aldığını, sigortalının, yapmış olduğu başvuru neticesinde Hasar gören sigortalı araca yaptırılan ekspertiz incelemesi sonucunda aracın hasarlı olduğunun tesp...	0

• Loss: SoftmaxLoss

stsb

• Dataset: stsb at daeabfb
• Size: 941,086 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 5 tokens mean: 47.0 tokens max: 301 tokens	min: 4 tokens mean: 25.29 tokens max: 103 tokens	min: 0.0 mean: 0.48 max: 1.0

• Samples:

  sentence1	sentence2	score
  Kavramsal olarak krem kaymağının iki temel boyutu vardır - ürün ve coğrafya.	Ürün ve coğrafya krem kaymağını işe yarıyor.	0.5
  Mevsim boyunca ve sanırım senin seviyendeyken onları bir sonraki seviyeye düşürürsün. Eğer ebeveyn takımını çağırmaya karar verirlerse Braves üçlü A'dan birini çağırmaya karar verirlerse çifte bir adam onun yerine geçmeye gider ve bekar bir adam gelir.	Eğer insanlar hatırlarsa, bir sonraki seviyeye düşersin.	1.0
  Numaramızdan biri talimatlarınızı birazdan yerine getirecektir.	Ekibimin bir üyesi emirlerinizi büyük bir hassasiyetle yerine getirecektir.	1.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

x1saint

• Dataset: x1saint at 85ac563
• Size: 1,523 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 5 tokens mean: 42.14 tokens max: 353 tokens	min: 5 tokens mean: 40.23 tokens max: 172 tokens	min: 0.0 mean: 0.69 max: 1.0

• Samples:

  sentence1	sentence2	score
  George Orwell, 1903 yılında Hindistan'ın Bengal bölgesinde doğdu.	George Orwell, Montihari şehrinde doğmuştur.	0.8
  Orwell, Eton College'de eğitimini tamamladı.	Orwell öğrenimini Eton College'de bitirdi.	1.0
  George Orwell, İngiltere yönetimine karşı çıkarak Hindistan Polisi görevinden istifa etti.	Orwell, İmparatorluk yönetiminin iç yüzünü görünce istifayı tercih etti.	0.8

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Evaluation Datasets

all-nli-pair-class

• Dataset: all-nli-pair-class at 67baa14
• Size: 5,000 evaluation samples
• Columns: premise, hypothesis, and label
• Approximate statistics based on the first 1000 samples:

  	premise	hypothesis	label
  type	string	string	int
  details	min: 74 tokens mean: 420.94 tokens max: 512 tokens	min: 43 tokens mean: 406.85 tokens max: 512 tokens	0: ~44.30% 1: ~39.00% 2: ~16.70%

• Samples:

  premise	hypothesis	label
  Davacı vekili dava dilekçesinde özetle; Davacı şirketin taşıyan sıfatıyla davalı şirkete ait yükü kendisi ile yapılan taşıma sözleşmesi uyarınca ... Limanından ... tarihinde yükleyerek .../ ... Limanı’na taşıdığını ve yükü ihtiva eden 3 adet konteyneri liman sahasına kapalı ve mühürlü olarak ... tarihinde gemiden tahliye ettiğini, ... numaralı konişmentoda belirtildiği üzere, söz konusu deniz taşıma işinde davacı şirkete ait ‘...’ numaralı 3 adet konteynerin kullanıldığını, taşıma konusu yüklere ilişkin varış ihbarlarının düzenlendiğini ve yüklerin tahliye edildiğini, bugüne dek söz konusu yüklerin teslim alınmadığını, yüklerin konişmentolarda öngörülen süre içerisinde gönderilen tarafından teslim alınmaması nedeniyle, davacı şirket tarafından yapılan bütün iyiniyetli girişimlerin sonuçsuz kaldığını, aradan geçen yaklaşık 11 aylık süre zarfında yükün teslim alınmadığını, konteynerlerin tahliye edilmediğini, konteynerlerin tahliye edilmemesi üzerine davacı taşıyan şirket çalışanı tarafı...	Davacı vekili dava dilekçesinde özetle; Davalı tarafın taşıyan müvekkili ... A/Ş vasıtası ile ... numaralı konişmento tahtında ... numaralı 1 adet 40'lık REEFER tip konteyner muhteviyatı yükünü Hindistan'ın Cochin Limanından Gemlik Limanı' na denizyolu ile taşıttığını, bu taşımalarda davalı yanın ithalatçı ve taşımaya ilişkin konişmentoya göre yük alıcısı konumunda olduğunu, davalının ithalatçısı ve yük alıcısı olduğu ... numaralı konişmento tahtında taşınan 1 adet 40 'lık reefer konteynerin yükleme limanı olan Hindistan' in Cochin Limanı' nda 11.07.2017 tarihinde gemiye yüklendiğini ve 28.08.2017 tarihinde Gemlik ... Limanı' nda gemiden tahliye edildiğini, davalının ... numaralı konişmento tahtında taşman emtiaları tahliye limanı olan Gemlik Limanı' na ulaşmadan önce davalıya bir örneği delil listelerinde sunulan "..." yani "Varış İhbarnamesi" gönderildiği ve davalının yükünün 28.08.2017 tarihinde Gemlik Limanı' na ulaşacağının ihbar edildiğini, tahliye limanındaki konteyner muhtevi...	1
  Davacı vekili dava dilekçesinde özetle; Davacı ... A.Ş.'nin 1986 yılından beri Irak piyasasında iş yapan ve gerek iş ahlakı ve gerekse dürüstlüğüyle tanınan ve dolayısıyla Irak'ta yapılacak yeni bir iş olduğunda, ilk haberdar edilen bir firma olduğunu, 1989 yılında da İrak'a daimi ofisini açtığını, 2001 yılında ilgili bakanlığın davacı şirketten Saf Bakır Şerit talebinde bulunduğunu, davacının da bunu temin etmek için davalı şirketle ilişki kurduğunu, davalı şirketin Irak'ın talep ettiği spesifikasyonda mal üretecek araca sahip bulunmadığını beyan etmesi üzerine, davacı şirketin bu konuda da yardımcı olduğunu ve üretimi gerçekleştirecek makinelerin davalı tarafından teminine hem teknolojik bilgi ve hem de maddi katkıda bulunduğunu, böylelikle ilk olarak 2002 yılında, davalının ürettiği malların davacı şirket tarafından Irak'a pazarlandığını, bu arada Amerika Irak'ı istila edince, ilişkilerin bir süre askıda kaldığını ve nihayet 2006 yılında Irak Sanayi Bakanlığı'nın davacı şirketi yen...	Haksız rekabete ilişkin bu Kısım hükümlerinin amacı, bütün katılanların menfaatine, dürüst ve bozulmamış rekabetin sağlanmasıdır.Rakipler arasında veya tedarik edenlerle müşteriler arasındaki ilişkileri etkileyen aldatıcı veya dürüstlük kuralına diğer şekillerdeki aykırı davranışlar ile ticari uygulamalar haksız ve hukuka aykırıdır.	2
  Davacı vekili dava dilekçesinde özetle; Müvekkili şirketin perakende sektöründe ağırlıklı olarak elektronik cihazların satışı işiyle iştigal ettiğini ve tüketiciler tarafından çeşitli şikayetlerle kendisine teslim edilen ürünleri, teknik servis olarak faaliyet gösteren belirli şirketlere onarım için yönlendirdiğini, bu lojistik faaliyetlerin zaman zaman, kargo şirketi olarak faaliyet gösteren davalı taraf ile gerçekleştirildiğini, ... A.Ş.'nin, müvekkili şirketin ticari ilişkileri kapsamında belirli ürünlerini teslim ettiği bir yetkili teknik servis olarak faaliyet gösterdiğini ve belirli cihazları onarım için teslim aldıktan sonra yine müvekkili şirkete teslim ettiğini, bu operasyonların dış lojistik tarafının da ...'nin anlaşmalı olduğu kargo şirketi olan davalı taraf ile gerçekleştirildiğini, bu ticari ilişki sebebi ile yedi adet cep telefonun da onarım için ...’ne gönderildiğini ve ...’nde işleme tabi tutulan 7 adet telefonların gönderici sıfatı ile ... tarafından müvekkili şirket...	Zarara, kasten veya pervasızca bir davranışla ve böyle bir zararın meydana gelmesi ihtimalinin bilinciyle işlenmiş bir fiilinin veya ihmalinin sebebiyet verdiği ispat edilen taşıyıcı veya 879 uncu maddede belirtilen kişiler, bu Kısımda öngörülen sorumluluktan kurtulma hâllerinden ve sorumluluk sınırlamalarından yararlanamaz.	2

• Loss: SoftmaxLoss

stsb

• Dataset: stsb at bb7685b
• Size: 1,500 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 4 tokens mean: 45.29 tokens max: 304 tokens	min: 6 tokens mean: 24.86 tokens max: 92 tokens	min: 0.0 mean: 0.5 max: 1.0

• Samples:

  sentence1	sentence2	score
  Yeni haklar yeterince güzel.	Herkes gerçekten en yeni faydaları seviyor	0.5
  Bu site, tüm ödül kazananların bir listesini ve Hükümet Yönetici makalelerinin aranabilir bir veritabanını içerir.	Web sitesinde yer alan Hükümet Yürütme makaleleri aranamaz.	0.0
  Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum.	Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum.	1.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

x1saint

• Dataset: x1saint at bb7685b
• Size: 1,500 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 4 tokens mean: 45.29 tokens max: 304 tokens	min: 6 tokens mean: 24.86 tokens max: 92 tokens	min: 0.0 mean: 0.5 max: 1.0

• Samples:

  sentence1	sentence2	score
  Yeni haklar yeterince güzel.	Herkes gerçekten en yeni faydaları seviyor	0.5
  Bu site, tüm ödül kazananların bir listesini ve Hükümet Yönetici makalelerinin aranabilir bir veritabanını içerir.	Web sitesinde yer alan Hükümet Yürütme makaleleri aranamaz.	0.0
  Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum.	Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum.	1.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 1e-06
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	all-nli-pair-class loss	stsb loss	x1saint loss	sts-dev_spearman_cosine
0.0011	100	3.5189	-	-	-	-
0.0023	200	3.0711	-	-	-	-
0.0011	100	3.5187	-	-	-	-
0.0023	200	3.0709	-	-	-	-
0.0034	300	3.2458	-	-	-	-
0.0045	400	3.1891	-	-	-	-
0.0056	500	3.3556	-	-	-	-
0.0068	600	3.4514	-	-	-	-
0.0079	700	3.2443	-	-	-	-
0.0090	800	3.2109	-	-	-	-
0.0102	900	3.4956	-	-	-	-
0.0113	1000	3.4255	1.0730	4.5456	4.5456	0.2466
0.0124	1100	3.1637	-	-	-	-
0.0136	1200	3.2261	-	-	-	-
0.0147	1300	3.3524	-	-	-	-
0.0158	1400	3.4991	-	-	-	-
0.0169	1500	3.5157	-	-	-	-
0.0181	1600	3.5079	-	-	-	-
0.0192	1700	3.2644	-	-	-	-
0.0203	1800	3.2737	-	-	-	-
0.0215	1900	3.5461	-	-	-	-
0.0226	2000	3.6754	1.0257	4.5012	4.5012	0.2563
0.0237	2100	3.414	-	-	-	-
0.0248	2200	3.0237	-	-	-	-
0.0260	2300	3.383	-	-	-	-
0.0271	2400	3.2955	-	-	-	-
0.0282	2500	3.0388	-	-	-	-
0.0294	2600	3.2	-	-	-	-
0.0305	2700	3.3309	-	-	-	-
0.0316	2800	3.0292	-	-	-	-
0.0327	2900	2.9697	-	-	-	-
0.0339	3000	2.8957	0.9897	4.4610	4.4610	0.2651
0.0350	3100	3.3987	-	-	-	-
0.0361	3200	3.0995	-	-	-	-
0.0373	3300	3.1995	-	-	-	-
0.0384	3400	3.4175	-	-	-	-
0.0395	3500	3.1195	-	-	-	-
0.0407	3600	3.1149	-	-	-	-
0.0418	3700	3.2614	-	-	-	-
0.0429	3800	3.3849	-	-	-	-
0.0440	3900	3.3391	-	-	-	-
0.0452	4000	3.1803	0.9553	4.4195	4.4195	0.2719
0.0463	4100	3.0133	-	-	-	-
0.0474	4200	3.3885	-	-	-	-
0.0486	4300	3.132	-	-	-	-
0.0497	4400	3.2	-	-	-	-
0.0508	4500	3.3284	-	-	-	-
0.0519	4600	3.1747	-	-	-	-
0.0531	4700	3.1531	-	-	-	-
0.0542	4800	3.3195	-	-	-	-
0.0553	4900	3.0077	-	-	-	-
0.0565	5000	2.7127	0.8501	4.3839	4.3839	0.2808
0.0576	5100	3.2574	-	-	-	-
0.0587	5200	3.3916	-	-	-	-
0.0598	5300	3.0803	-	-	-	-
0.0610	5400	3.3637	-	-	-	-
0.0621	5500	3.4361	-	-	-	-
0.0632	5600	3.4658	-	-	-	-
0.0644	5700	3.1167	-	-	-	-
0.0655	5800	3.3059	-	-	-	-
0.0666	5900	3.1765	-	-	-	-
0.0678	6000	3.2381	0.7268	4.3579	4.3579	0.2943
0.0689	6100	3.0319	-	-	-	-
0.0700	6200	3.2476	-	-	-	-
0.0711	6300	2.9789	-	-	-	-
0.0723	6400	3.1056	-	-	-	-
0.0734	6500	3.2808	-	-	-	-
0.0745	6600	2.9506	-	-	-	-
0.0757	6700	2.8923	-	-	-	-
0.0768	6800	3.0534	-	-	-	-
0.0779	6900	3.0781	-	-	-	-
0.0790	7000	3.3438	0.6398	4.3437	4.3437	0.3081
0.0802	7100	3.2635	-	-	-	-
0.0813	7200	3.2018	-	-	-	-
0.0824	7300	2.8889	-	-	-	-
0.0836	7400	3.4046	-	-	-	-
0.0847	7500	3.4731	-	-	-	-
0.0858	7600	3.1368	-	-	-	-
0.0869	7700	2.9244	-	-	-	-
0.0881	7800	3.1948	-	-	-	-
0.0892	7900	3.2156	-	-	-	-
0.0903	8000	2.9844	0.5916	4.3358	4.3358	0.3234
0.0915	8100	2.8774	-	-	-	-
0.0926	8200	2.5593	-	-	-	-
0.0937	8300	2.8402	-	-	-	-
0.0949	8400	3.0853	-	-	-	-
0.0960	8500	3.2655	-	-	-	-
0.0971	8600	3.1169	-	-	-	-
0.0982	8700	3.2144	-	-	-	-
0.0994	8800	2.8349	-	-	-	-
0.1005	8900	2.9291	-	-	-	-
0.1016	9000	2.7601	0.5400	4.3210	4.3210	0.3397
0.1028	9100	2.8425	-	-	-	-
0.1039	9200	3.0608	-	-	-	-
0.1050	9300	3.1085	-	-	-	-
0.1061	9400	2.9238	-	-	-	-
0.1073	9500	2.9525	-	-	-	-
0.1084	9600	3.3401	-	-	-	-
0.1095	9700	2.9262	-	-	-	-
0.1107	9800	3.1004	-	-	-	-
0.1118	9900	2.5464	-	-	-	-
0.1129	10000	3.1688	0.4847	4.3110	4.3110	0.3512
0.1141	10100	3.1941	-	-	-	-
0.1152	10200	3.0643	-	-	-	-
0.1163	10300	2.8023	-	-	-	-
0.1174	10400	3.3176	-	-	-	-
0.1186	10500	3.162	-	-	-	-
0.1197	10600	3.0185	-	-	-	-
0.1208	10700	3.0583	-	-	-	-
0.1220	10800	3.2895	-	-	-	-
0.1231	10900	2.8879	-	-	-	-
0.1242	11000	3.135	0.4262	4.3080	4.3080	0.3620
0.1253	11100	3.1176	-	-	-	-
0.1265	11200	3.0155	-	-	-	-
0.1276	11300	3.0035	-	-	-	-
0.1287	11400	3.0159	-	-	-	-
0.1299	11500	2.8225	-	-	-	-
0.1310	11600	2.9968	-	-	-	-
0.1321	11700	2.9152	-	-	-	-
0.1332	11800	3.0774	-	-	-	-
0.1344	11900	3.2168	-	-	-	-
0.1355	12000	2.7994	0.3985	4.2907	4.2907	0.3715
0.1366	12100	3.1756	-	-	-	-
0.1378	12200	3.3252	-	-	-	-
0.1389	12300	3.0435	-	-	-	-
0.1400	12400	3.0718	-	-	-	-
0.1412	12500	3.121	-	-	-	-
0.1423	12600	3.2819	-	-	-	-
0.1434	12700	3.0131	-	-	-	-
0.1445	12800	3.3347	-	-	-	-
0.1457	12900	3.228	-	-	-	-
0.1468	13000	2.9512	0.3903	4.2888	4.2888	0.3793
0.1479	13100	3.0776	-	-	-	-
0.1491	13200	2.9721	-	-	-	-
0.1502	13300	2.8265	-	-	-	-
0.1513	13400	2.9286	-	-	-	-
0.1524	13500	2.7661	-	-	-	-
0.1536	13600	2.8168	-	-	-	-
0.1547	13700	3.1262	-	-	-	-
0.1558	13800	3.1392	-	-	-	-
0.1570	13900	3.1336	-	-	-	-
0.1581	14000	3.1258	0.3315	4.2807	4.2807	0.3860
0.1592	14100	3.0987	-	-	-	-
0.1603	14200	2.7666	-	-	-	-
0.1615	14300	3.0599	-	-	-	-
0.1626	14400	3.1154	-	-	-	-
0.1637	14500	3.1234	-	-	-	-
0.1649	14600	3.025	-	-	-	-
0.1660	14700	3.0224	-	-	-	-
0.1671	14800	2.922	-	-	-	-
0.1683	14900	2.7217	-	-	-	-
0.1694	15000	2.7902	0.3253	4.2890	4.2890	0.3908
0.1705	15100	3.2199	-	-	-	-
0.1716	15200	3.1018	-	-	-	-
0.1728	15300	2.6536	-	-	-	-
0.1739	15400	3.0888	-	-	-	-
0.1750	15500	2.728	-	-	-	-
0.1762	15600	3.0917	-	-	-	-
0.1773	15700	2.9809	-	-	-	-
0.1784	15800	2.9921	-	-	-	-
0.1795	15900	3.1358	-	-	-	-
0.1807	16000	3.1537	0.3201	4.2816	4.2816	0.3950
0.1818	16100	3.0497	-	-	-	-
0.1829	16200	3.014	-	-	-	-
0.1841	16300	2.7652	-	-	-	-
0.1852	16400	2.809	-	-	-	-
0.1863	16500	3.138	-	-	-	-
0.1874	16600	2.7983	-	-	-	-
0.1886	16700	2.9568	-	-	-	-
0.1897	16800	2.9604	-	-	-	-
0.1908	16900	3.1076	-	-	-	-
0.1920	17000	3.0263	0.2751	4.2702	4.2702	0.4003
0.1931	17100	3.0295	-	-	-	-
0.1942	17200	3.1564	-	-	-	-
0.1954	17300	2.8307	-	-	-	-
0.1965	17400	3.1378	-	-	-	-
0.1976	17500	3.0607	-	-	-	-
0.1987	17600	2.8302	-	-	-	-
0.1999	17700	2.8098	-	-	-	-
0.2010	17800	3.4055	-	-	-	-
0.2021	17900	2.7756	-	-	-	-
0.2033	18000	3.0922	0.2955	4.2613	4.2613	0.4060
0.2044	18100	3.161	-	-	-	-
0.2055	18200	3.3236	-	-	-	-
0.2066	18300	2.6951	-	-	-	-
0.2078	18400	2.9456	-	-	-	-
0.2089	18500	2.7356	-	-	-	-
0.2100	18600	3.0398	-	-	-	-
0.2112	18700	2.9493	-	-	-	-
0.2123	18800	2.9966	-	-	-	-
0.2134	18900	3.3613	-	-	-	-
0.2146	19000	2.9626	0.2534	4.2668	4.2668	0.4097
0.2157	19100	3.0809	-	-	-	-
0.2168	19200	2.9583	-	-	-	-
0.2179	19300	2.9046	-	-	-	-
0.2191	19400	3.4546	-	-	-	-
0.2202	19500	3.2281	-	-	-	-
0.2213	19600	2.8041	-	-	-	-
0.2225	19700	2.7885	-	-	-	-
0.2236	19800	2.9419	-	-	-	-
0.2247	19900	2.9497	-	-	-	-
0.2258	20000	2.8604	0.2315	4.2608	4.2608	0.4136
0.2270	20100	2.897	-	-	-	-
0.2281	20200	3.0587	-	-	-	-
0.2292	20300	2.9539	-	-	-	-
0.2304	20400	3.0268	-	-	-	-
0.2315	20500	2.5965	-	-	-	-
0.2326	20600	2.5413	-	-	-	-
0.2337	20700	2.975	-	-	-	-
0.2349	20800	2.8803	-	-	-	-
0.2360	20900	2.8471	-	-	-	-
0.2371	21000	2.8503	0.2041	4.2626	4.2626	0.4157
0.2383	21100	3.0019	-	-	-	-
0.2394	21200	2.8871	-	-	-	-
0.2405	21300	2.8686	-	-	-	-
0.2417	21400	3.0021	-	-	-	-
0.2428	21500	2.9747	-	-	-	-
0.2439	21600	2.8709	-	-	-	-
0.2450	21700	3.0914	-	-	-	-
0.2462	21800	3.2664	-	-	-	-
0.2473	21900	2.7196	-	-	-	-
0.2484	22000	3.1535	0.2467	4.2663	4.2663	0.4176
0.2496	22100	2.8622	-	-	-	-
0.2507	22200	2.9969	-	-	-	-
0.2518	22300	2.53	-	-	-	-
0.2529	22400	2.4632	-	-	-	-
0.2541	22500	3.1082	-	-	-	-
0.2552	22600	2.5799	-	-	-	-
0.2563	22700	2.8729	-	-	-	-
0.2575	22800	2.8414	-	-	-	-
0.2586	22900	2.8917	-	-	-	-
0.2597	23000	2.6811	0.2159	4.2583	4.2583	0.4209
0.2608	23100	3.0415	-	-	-	-
0.2620	23200	2.8393	-	-	-	-
0.2631	23300	3.2675	-	-	-	-
0.2642	23400	2.8109	-	-	-	-
0.2654	23500	3.2762	-	-	-	-
0.2665	23600	3.0291	-	-	-	-
0.2676	23700	3.0371	-	-	-	-
0.2688	23800	2.5999	-	-	-	-
0.2699	23900	3.1188	-	-	-	-
0.2710	24000	2.548	0.2729	4.2453	4.2453	0.4242
0.2721	24100	2.8282	-	-	-	-
0.2733	24200	2.872	-	-	-	-
0.2744	24300	2.6728	-	-	-	-
0.2755	24400	3.229	-	-	-	-
0.2767	24500	2.6548	-	-	-	-
0.2778	24600	2.9694	-	-	-	-
0.2789	24700	2.6256	-	-	-	-
0.2800	24800	3.0095	-	-	-	-
0.2812	24900	3.2991	-	-	-	-
0.2823	25000	2.7506	0.2124	4.2584	4.2584	0.4249
0.2834	25100	2.7212	-	-	-	-
0.2846	25200	3.1904	-	-	-	-
0.2857	25300	2.9579	-	-	-	-
0.2868	25400	3.0365	-	-	-	-
0.2880	25500	3.053	-	-	-	-
0.2891	25600	2.9033	-	-	-	-
0.2902	25700	2.6707	-	-	-	-
0.2913	25800	2.8541	-	-	-	-
0.2925	25900	3.047	-	-	-	-
0.2936	26000	2.5607	0.2063	4.2468	4.2468	0.4281
0.2947	26100	2.9208	-	-	-	-
0.2959	26200	2.8091	-	-	-	-
0.2970	26300	3.5143	-	-	-	-
0.2981	26400	2.5564	-	-	-	-
0.2992	26500	2.8665	-	-	-	-
0.3004	26600	2.5691	-	-	-	-
0.3015	26700	2.5526	-	-	-	-
0.3026	26800	2.7084	-	-	-	-
0.3038	26900	3.1267	-	-	-	-
0.3049	27000	2.4162	0.1569	4.2439	4.2439	0.4296
0.3060	27100	2.5168	-	-	-	-
0.3071	27200	3.0819	-	-	-	-
0.3083	27300	3.0642	-	-	-	-
0.3094	27400	3.2743	-	-	-	-
0.3105	27500	2.7929	-	-	-	-
0.3117	27600	2.8661	-	-	-	-
0.3128	27700	2.9403	-	-	-	-
0.3139	27800	2.8967	-	-	-	-
0.3151	27900	2.8949	-	-	-	-
0.3162	28000	2.9087	0.1647	4.2450	4.2450	0.4316
0.3173	28100	2.7417	-	-	-	-
0.3184	28200	3.0461	-	-	-	-
0.3196	28300	2.747	-	-	-	-
0.3207	28400	2.8057	-	-	-	-
0.3218	28500	3.0305	-	-	-	-
0.3230	28600	3.1517	-	-	-	-
0.3241	28700	2.9611	-	-	-	-
0.3252	28800	2.7057	-	-	-	-
0.3263	28900	2.5268	-	-	-	-
0.3275	29000	2.9869	0.2016	4.2455	4.2455	0.4334
0.3286	29100	3.2638	-	-	-	-
0.3297	29200	2.8948	-	-	-	-
0.3309	29300	3.0118	-	-	-	-
0.3320	29400	2.8534	-	-	-	-
0.3331	29500	3.1632	-	-	-	-
0.3342	29600	2.9116	-	-	-	-
0.3354	29700	2.5557	-	-	-	-
0.3365	29800	2.7745	-	-	-	-
0.3376	29900	2.5932	-	-	-	-
0.3388	30000	2.7092	0.1921	4.2458	4.2458	0.4347
0.3399	30100	3.2183	-	-	-	-
0.3410	30200	2.857	-	-	-	-
0.3422	30300	2.9008	-	-	-	-
0.3433	30400	2.8235	-	-	-	-
0.3444	30500	2.6956	-	-	-	-
0.3455	30600	2.9611	-	-	-	-
0.3467	30700	3.1242	-	-	-	-
0.3478	30800	3.1466	-	-	-	-
0.3489	30900	2.8542	-	-	-	-
0.3501	31000	2.8809	-	-	-	-

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.0
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers and SoftmaxLoss

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}