Hugging Face's logo

Omerhan
/
checkpoint-60-ucsahin

Sentence Similarity
sentence-transformers
Safetensors
Turkish
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:4997
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community

intfloat-fine-tuned

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large-instruct
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity
  • Training Dataset:
    • json
  • Language: tr
  • License: apache-2.0

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Omerhan/checkpoint-60-ucsahin")
# Run inference
sentences = [
    'Tibet mimarisi hangi iki kültürü yansıtır?',
    'Tibet mimarisi, Çin ve Hint kültürlerini yansıtmaktadır.',
    "Tibet ekonomisi geçim tarım hakimdir, ancak turizm son yıllarda büyüyen bir sanayi haline gelmiştir. Tibet'te baskın din Tibet Budizm'dir; Buna ek olarak Tibet Budizm'e benzer Bön vardır ve Tibet Müslümanları ve Hıristiyan azınlıklar da vardır. Tibet Budizmi, bölgenin sanat, müzik ve festivalleri üzerinde birincil bir etkidir. Tibet mimarisi Çin ve Hint etkilerini yansıtır. Tibet'teki zımba gıdaları kavrulmuş arpa, yak eti ve tereyağı çayıdır.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

  • Dataset: json
  • Size: 4,997 training samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 5 tokens
    • mean: 16.36 tokens
    • max: 61 tokens
    • min: 5 tokens
    • mean: 33.39 tokens
    • max: 265 tokens
    • min: 23 tokens
    • mean: 197.11 tokens
    • max: 512 tokens
  • Samples:
    anchor positive negative
    Şehzade Selim kiminle akrabaydı? Şehzade Selim, Dulkadir Beyi Alaüddevle Bozkurt Bey ile anne tarafından akrabaydı. Safevi Şah'ı İsmail 1507 yılında hem İstanbul'un hem de Kahire'nin göstereceği tepkiyi görmek amacıyla Dulkadiroğulları Beyliği'nin üzerine yürüdü. Asıl sebebi bu olmamakla beraber görünüşteki sebep, Dulkadir Beyi Alaüddevle Bozkurt Bey'in Şii olan Şah'a kızını vermek istememesiydi. Şah İsmail Osmanlı topraklarından geçerek Kayseri üzerinden Dulkadir topraklarına girdi.Savaşta yenilen Alaüddevle Bozkurt Bey kaçtı ve Şah İsmail Bey'in bir oğlu ile iki torununu ele geçirerek öldürttü. Bunun üzerine Maraş'a ve Elbistan'a giren Şah İsmail Dulkadir Hanedanı'nın mezarlarını yaktırdı. Sonradan da Osmanlı Devleti'ne bir mektup yazıp topraklarını çiğnediğinden dolayı da özür diledi. Yıllardan beri Dulkadiroğulları Beyliği'nin kendilerine bağlı olduğunu iddia eden Memluklular ve Osmanlılar bu hareketi cevapsız bıraktılar.Bu da Şah İsmail'in Anadolu'daki prestijini artırdı. Memluklular tamamıyla sessiz kalsa da Osmanlıların sessiz kalmaları mümkün değildi.Zira Trabzon sancak beyi Şehzade Selim, anne tarafından Dulkadir Beyi Alaüddevle Bozkurt Bey ile akrabaydı.Şehzade Selim ve Şehzade Korkut Alaüddevle Bozkurt Bey'in kızı olan aynı anneden dünyaya gelmişti. Bir dayısına ve iki dayı oğluna yapılan bu harekete karşı Şehzade Selim Azerbaycan'a kadar Safevi topraklarına girerek Safevi Hanedanı'na mensup bazı kişileri esir alıp Trabzon'a getirerek dayısına yapılanın intikamını aldı. Babası Bayezid bile hiçbir şey yapmamışken Şehzade Selim' in bu hareketi gözlerin ona çevrilmesine neden oldu. Bu arada II.Bayezid Şah İsmail'in herhangi bir seferine karşı Orta Anadolu'ya asker yığdı.Bu nedenle Şah İsmail Anadolu'nun içlerine girmekten çekinmiştir. Sayısı 115 bini bulan bu orduyu gözüne kestiremeyen Şah, II. Bayezid'e Şanlı büyük babam diye hitap ettiği bir mektup yazarak 1508 yıllarının ilk aylarında Diyarbakır'a çekildi.
    İngilizler hangi yılda Dervişeleri yendi? İngilizler, Dervişler'i 1920 yılında yendi. 19. yüzyılın sonlarında, Berlin konferansı sona erdikten sonra Avrupalı imparatorluklar ordularıyla Afrika Boynuzu'na yelken açtılar. Somali üzerinde titreyen imparatorluk bulutları, Afrika Boynuzu'ndan Somali askerlerini bir araya getiren ve şimdiye kadarki en uzun sömürge karşıtı savaşlardan birini başlatan Derviş lideri Muhammed Abdullah Hassan'ı alarma geçirdi. Derviş Devleti İngiliz imparatorluğunu dört kez başarıyla püskürttü ve kıyı bölgesine geri çekilmeye zorladı. Derviş Devleti İngilizlere karşı başarılarının bir sonucu olarak Osmanlı ve Alman imparatorluklarından destek aldı. Türkler Somali ulusundan Hasan Emir'i de seçtiler ve Almanlar Dervişlerin elde edeceği her bölgeyi resmen tanımaya söz verdiler. Çeyrek asırlık İngilizleri körfezde tuttuktan sonra, Dervişler sonunda 1920'de yenildi, İngiltere'nin Afrika'da ilk kez Derviş başkenti Taleex'i bombalamak için uçakları kullandı. Bu bombardıman sonucunda eski Derviş toprakları Britanya'nın himayesine dönüştü. İtalya benzer şekilde Somali Sultanları ve ordulardan aynı muhalefetle karşı karşıya kaldı ve 1927'nin sonlarında Faşist döneme kadar modern Somali'nin parçalarının tam kontrolünü elde edemedi. Bu işgal 1941 yılına kadar sürdü ve yerini İngiliz askeri idaresi aldı.
    “post-punk” terimini ilk kullanan kimdi? Metinde belirtilen bilgilere göre, "post-punk" terimini ilk kullananların gazeteciler olduğu belirtilmiştir. Ancak metinde terimin ilk kullanımını yapan gazetecinin kim olduğu belirtilmemiştir. “post-punk” terimi ilk olarak 1970'lerin sonlarında gazeteciler tarafından punk'ın sonik şablonunun ötesine geçen grupları farklı bölgelere tanımlamak için kullanıldı. Başlangıçta punk'ın DIY etiği ve enerjisinden esinlenen bu sanatçıların çoğu, sonuçta stil ve hareketle hayal kırıklığına uğradı ve ticari formüle, rock kongresi ve öz parodisine düştüğünü hissetti. Popülist iddialarını erişilebilirlik ve ham basitliğe karşı reddettiler, bunun yerine müzikal geleneği kırma, sıradan yerleri alt etme ve izleyicilere meydan okuma fırsatı gördüler. Sanatçılar büyük ölçüde beyaz kaygıları üzerinde punk odak ötesine taşındı, erkek, işçi sınıfı nüfus ve kurulan rock and roll tropes onun sürekli güven terk, Böyle üç akor ilerlemeler ve Chuck Berry tabanlı gitar riffs gibi. Bu sanatçılar bunun yerine “radikal içeriğin radikal bir form gerektirdiğine” inanarak punk'ı “sürekli değişimin bir zorunluluğu” olarak tanımladılar.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • gradient_accumulation_steps: 8
  • learning_rate: 1e-06
  • num_train_epochs: 1
  • lr_scheduler_type: cosine
  • warmup_ratio: 0.01
  • tf32: True
  • optim: adamw_torch_fused
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 8
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 8
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-06
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: cosine
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.01
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: True
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Framework Versions

  • Python: 3.11.11
  • Sentence Transformers: 3.1.1
  • Transformers: 4.45.2
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
6
Safetensors
Model size
560M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model is not currently available via any of the supported Inference Providers.

Model tree for Omerhan/checkpoint-60-ucsahin

Base model

intfloat/multilingual-e5-large-instruct
Finetuned
(78)
this model