whatwant/klue-roberta-base-klue-sts-mrc

SentenceTransformer based on whatwant/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from whatwant/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: whatwant/klue-roberta-base-klue-sts
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '미국과 인도가 함께 펼친 사마라 강 하곡 프로젝트 등을 진행한 사람은?',
    '바퀴가 넷 달린 수레가 털이 길게 자란 양떼 사이를 가로지른다. 삐걱거리는 소리를 내며 앞뒤로 흔들리는 이 수레에는 천막과 생활필수품이 가득 실려 있다. 가축을 기르는 사람이면 누구나 끊임없이 좋은 초지를 찾아 이동해야 했다. 기원전 3300~3100년 무렵 초원에 보급된 네 바퀴 수레는 유목민들을 끊임없이 움직이게 한 원동력이었다.오늘날 영어를 포함해 약 30억명이 사용하는 유럽 이란 인도아대륙(亞大陸)의 여러 언어는 단 하나의 모어(母語)를 갖고 있다. 흑해와 카스피해 초원 지역 사람들이 쓴 ‘인도·유럽 공통조어’다. 바퀴 달린 수레의 보급은 이 언어가 대륙 전역으로 퍼져나가게 된 결정적 계기였다. 사람을 태우거나 수레를 끌고 달리던 빠른 동물, 말의 혜택도 봤다. 건조해진 초원을 떠나 다른 목초지를 찾던 유목민들의 자연스러운 행동이 오늘날 인도·유럽어의 ‘언어 지도’를 형성한 셈이다.이런 내용을 뼈대로 언어를 통해 유라시아 초원 역사를 더듬은 고고학 명저가 번역돼 나왔다. 데이비드 W 앤서니 미국 하트위크대 인류학과 교수의 《말, 바퀴, 언어》다. 앤서니 교수는 미국과 러시아가 함께 벌인 사마라 강 하곡 프로젝트를 포함해 러시아와 우크라이나, 카자흐스탄 등에서 광범위한 현장 조사를 수행한 고고학자다. ‘인도·유럽 공통조어’의 확산은 기원전 3300~2500년께 얌나야 문화층에서 폭발적으로 이뤄졌다. 수레와 말을 통해 대륙 전역으로 퍼지고, 사회 지배층이었던 인도·유럽어 계통 언어 사용자들의 후견인 제도로 지역별로 언어가 고착된 것이다. 나름대로 변형이 이뤄지면서 현대의 인도·유럽어로 진화했다.고고학 연구는 희미한 흔적을 퍼즐 조각처럼 하나하나 맞춰나가는 지난한 과정이다. 초원 유목민들은 도시와 같은 흔적을 남기지도 않았다. 당시 훼손된 혹은 주목받지 못했던 현장이 좋은 실마리가 되는 아이러니도 많다. 불에 탔기 때문에 더 잘 보존된 목조 구조물, 궁전보다 더 오래 살아남은 쓰레기 구덩이 등이다. 저자는 이 같은 직관에 근거해 고고학의 ‘잃어버린 조각’을 언어학에서 찾는다. 언어학자들은 지난 200여년간 1500개가 넘는 인도·유럽어 어근의 음을 복원했다. 고고학 탐사를 통해 히타이트와 미케네 그리스어, 옛 독일어로 된 비문들이 발굴됐다. 비교언어학자들이 복원한 소리가 비문에 정확히 적혀 있었다는 사실은 복원 작업이 이론적인 추측에만 머물러 있지 않음을 시사한다.저자는 말 치아의 재갈 마모 흔적을 통해 기마의 기원을 서기전 4000년 이전으로 끌어올리는 등 눈길을 끄는 주장을 펼쳐 고고학계의 찬사를 받았다. 한계도 있다. 문화 간 교류보다 ‘이주’에 초점을 맞춰 극단적 전파론으로 이어질 수 있다는 점이다. 강인욱 경희대 사학과 교수는 “유라시아 초원 역사의 중요성을 아시아뿐 아니라 유럽 전역의 문화 기원과 연결하려는 시도가 돋보이는 책”이라고 평가했다.',
    '서울 영등포구 신길뉴타운 7구역을 재개발한 ‘래미안 에스티움’ 청약 가점이 강남권 인기 아파트와 비슷한 것으로 나타났다. 청약통장 가입 기간과 무주택 기간 등을 점수로 환산해 당첨자를 가리는 청약가점(84점 만점)이 높다는 것은 입지와 분양가에 만족한 실수요자들의 청약이 많았던 결과로 부동산 업계는 분석했다.16일 삼성물산에 따르면 지난 5일 1, 2순위 청약 접수한 래미안 에스티움 청약 당첨자 최고가점은 전용 84㎡C 타입으로 청약가점이 79점에 달했다. 서울 서초동 ‘래미안 서초 에스티지(전용 83㎡C 타입·77점)’와 반포동 ‘아크로리버파크 2회차(전용 84㎡G 타입·76점)보다 높았다. 일반적으로 청약가점이 60점 이상이면 높은 점수로 여겨진다. 특히 래미안 에스티움은 서울 강남3구(강남·서초·송파구) 거주 당첨자가 모집 가구(794가구)의 11.7%인 93명에 달했다. 여의도 등 주요 업무 지역과 가까워 향후 발전 가능성이 높아 강남3구 청약자가 몰렸다는 게 회사 측 설명이다. 래미안 에스티움은 17~19일 사흘간 서울 영등포구 신길동 252의 11에 있는 모델하우스에서 당첨자 계약을 받는다. (02)848-2600',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8025
spearman_cosine	0.811

Training Details

Training Dataset

Unnamed Dataset

• Size: 17,552 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokens mean: 17.67 tokens max: 35 tokens	min: 251 tokens mean: 437.33 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  중국 제과시장에서 4위에 안착한 기업을 보유한 국가는?	올해 중국 제과시장에서 시식회를 가장 많이 연 회사 중 하나는 오리온이다. 지난 4월부터 중국 주요 대형마트 4000여곳에서 무료 시식회를 열고 있다. 오리온이 올해 무료 시식회에 쓴 비용만 500억원에 이른다. 윤현호 오리온 홍보팀장은 “글로벌 경쟁업체들이 마케팅을 축소하고 있는 것과는 달리 공격 경영을 펼친 결과 오리온 제품만 진열하는 매대를 마련한 대형마트가 많아지면서 중국 내 매출이 급증하고 있다”고 말했다.오리온 3분기 中매출 12.6% ↑오리온은 지난 3분기 중국에서 20억3000만위안(약 3708억원)의 매출을 올렸다. 전년 동기 대비 12.6% 늘었다. 중국의 경기침체로 지난 1년(2014년 10월2015년 9월) 동안 중국 제과시장 1위인 미국 껌 회사 리글리의 매출이 전년 동기 대비 6% 감소하고 3, 4위인 미국 몬델리즈와 대만 왕왕이 13% 정도의 성장에 그친 것에 비하면 괄목할 만한 신장세다.올 들어 오리온의 매출 증가를 주도한 제품은 중국에서 ‘야!투더우(!土豆·감자)’라는 이름으로 팔리고 있는 감자 스낵 ‘오감자’다. 오감자는 올 들어 11월까지 중국에서 2125억원의 매출을 올렸다. 국내 단일 제과 제품 중 매출 2000억원을 돌파한 것은 오감자가 처음이다.오감자의 인기 비결은 공격 경영과 함께 철저한 ‘현지화’로 요약된다. 오감자는 중국에서 다섯 가지 맛으로 판매되고 있으며, 이 중 토마토·스테이크·치킨 맛 등 세 가지는 한국엔 없는 제품이다. 윤 팀장은 “중국인들이 좋아하는 토마토 양념 맛을 내기 위해 중국에 진출해 있는 글로벌 감미료 회사의 양념을 모두 테스트해 짠맛과 신맛의 비율을 맞췄다”고 설명했다.오감자 토마토 맛 외에도 오리온이 중국에서 파는 제품 중에선 한국에 없거나 레시피가 다른 것이 많다. 초코파이부터 맛이 다르다. 중국인들이 좋아하는 식감이 나도록 밀가루 입자까지 분석해 한국과는 다른 밀가루를 쓰기 때문이다. 오리온의 현지화 전략은 담철곤 오리온 회장의 경영철학에 따른 것이다. 한·중 수교 전인 1991년 처...
  보험사 측이 보험금을 받아야 한다는 판결을 한 국가 기관은?	친척이 보험을 대리계약하면서 피보험자가 질병이 있다는 사실을 미리 알리지 않았더라도 멀리 떨어져 살아 이를 알지 못했다면 보험사 측이 보험금을 지급해야 한다는 대법원 판결이 나왔다.대법원 1부(주심 박병대 대법관)는 김모씨(33·여)가 M 보험회사를 상대로 낸 보험금 지급 청구소송에서 원고 패소 판결한 원심을 깨고 사건을 서울고법으로 돌려보냈다고 24일 밝혔다.재판부는 “김씨가 보험계약 보름 전에 갑상샘 결절 진단을 받기는 했지만 대신 보험을 든 김씨의 이모 조모씨가 이런 사실을 당연히 알았을 것으로 단정할 수 없다”며 “이를 알리지 않았다고 고지 의무를 위반한 것으로 볼 수 없다”고 판시했다. 이어 “피보험자의 신체 상태 등에 관한 사항은 보험 계약을 한 대리인 외에 피보험자 본인에게도 별도 확인하고 자필 서명을 받게 돼 있는데 계약서에는 김씨의 서명이 없다”며 “보험사가 이를 확인하지 않고도 김씨 가족에게만 질병 유무를 적극적으로 확인해 알리지 않은 책임을 물을 수 없다”고 덧붙였다.1심은 보험을 들어준 조씨가 김씨의 질병 유무를 알지 못했다며 김씨 승소 판결했다. 그러나 2심은 조씨가 김씨에게 전화 등을 통해 손쉽게 질병 유무를 확인할 수 있는데도 이를 하지 않아 고지의무를 위반했다며 보험사 측의 손을 들어줬다.
  군자면에서 당 선전으로 활동한 사람들의 직업은?	점령지역에서 추진되었던 <당 및 행정기구 재건사업>은 시흥에서도 시행되었으며 해안경비를 목적으로 염부막사에 인민군 50여 명이 주둔했다. 북에서 교육받은 당 및 사회단체의 요원들을 점령지역에 파견하고 행정지역에 따라 서울, 도, 시, 군, 면 순서로 당위원회를 조직했다. 시흥지역의 경우 군당위원장에 채석우, 선전부장에 이규백, 수암면 당위원장에 박성수 등이 있었다. 군자면의 경우 노동당원은 10명이었으며 초등학교 교원 19명이 당 선전원으로 조직되었다. <시흥군내 각 명당부 정치정세 보고철>에서는 당과 각 사회단체가 유기적으로 결합하지 못하고 각 단체의 활동은 독자성이 결여되어 있다고 평가하고 있다. 군자면의 인민위원회의 경우에는 조선노동당의 노선과 차이가 있어 마찰을 빚기도 했다. 7월 7일 임시인민위원회가 결성되었고 7월 26일부터 7월 27일까지 면, 리 인민위원회 선거를 통해 인민위원회와 리 인민위원회를 선출하였다. 이는 지역의 토지개혁의 업무를 주관하는 것과 경찰, 군인, 공무원, 지주, 반공청년단원들을 색출하고 주민들에 대한 사상교육을 강화하려는 목적이었다.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	spearman_cosine
-1	-1	-	0.8110
0.4558	500	0.2655	-
0.9116	1000	0.1525	-

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}