dilovancelik/all-distilroberta-v1_danish_law_fine_tune

SentenceTransformer based on sentence-transformers/all-distilroberta-v1

This is a sentence-transformers model finetuned from sentence-transformers/all-distilroberta-v1 on the danish_law_qa dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-distilroberta-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • danish_law_qa

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("dilovancelik/all-distilroberta-v1_danish_law_fine_tune")
# Run inference
sentences = [
    ' Hvornår skal udlejeren foretage en lejenedsættelse? ',
    'Lov om leje (Lejenedsættelse ved faldende udgifter til ejendomsskatter m.v.):    § 48. Bortfalder eller nedsættes de i §§ 46 og 47 nævnte skatter, afgifter, udgifter og bidrag, skal udlejeren med virkning fra nedsættelsestidspunktet foretage en tilsvarende lejenedsættelse for de beboelseslejligheder og beboelsesrum, i hvis leje udgiften har været indregnet. Udlejeren skal dog ikke foretage lejenedsættelse, hvis bortfald eller nedsættelse af skatter, afgifter, udgifter og bidrag samtidig udlignes eller overstiges af nye forøgede skatter, afgifter, udgifter eller bidrag. I fredede ejendomme, hvorpå der er tinglyst en særlig bevaringsdeklaration i henhold til lovgivningen om bygningsfredning, kan et beløb svarende til den ejendomsskat, der til enhver tid kunne have været opkrævet, dog opkræves som en del af lejen, uanset om en ejendom er fritaget for ejendomsbeskatning.  Stk. 2. Udlejeren skal give lejeren skriftlig meddelelse om nedsættelsen af lejen, senest 6 uger efter at meddelelsen om nedsættelsen af skatter, afgifter, udgifter eller bidrag er kommet frem.\n',
    'Lov om boligforhold (Fondens udførelse af vedligeholdelses- og forbedringsarbejder):    § 69. Har en udlejer ikke udført vedligeholdelses- og forbedringsarbejder inden en af huslejenævnet fastsat frist, jf. § 108, stk. 2, § 114, stk. 2, og § 147, stk. 3, i lov om leje, kan investeringsfonden på begæring af en lejer lade de nævnte arbejder udføre for udlejerens regning, uanset om udlejeren har indbragt huslejenævnets afgørelse for domstolene. Investeringsfonden kan tinglyse meddelelse herom på ejendommen og lade den aflyse, når arbejderne er udført og fonden har fået dækning for sine udlæg.  Stk. 2. Bestrider udlejeren, at investeringsfonden har været berettiget til at udføre arbejderne, eller udgifternes rimelighed, kan udlejeren deponere beløbet eller efter aftale med fonden stille sikkerhed for beløbets betaling.  Stk. 3. Efter at have foretaget deponering eller stillet sikkerhed, jf. stk. 2, har udlejeren pligt til at anlægge sag ved retten med henblik på afklaring af spørgsmålet om, hvorvidt Grundejernes Investeringsfond har været berettiget til at udføre de omtvistede arbejder, jf. stk. 1. Har udlejeren ikke anlagt sag inden for 12 måneder fra deponeringstidspunktet eller tidspunktet for sikkerhedsstillelsen, skal de deponerede midler eller den stillede sikkerhed frigives til Grundejernes Investeringsfond.  Stk. 4. Forrentning af beløb, som fonden har lagt ud, fastsættes af fonden med en rente, der svarer til den effektive rente for et 30-årigt kontant annuitetslån i et godkendt realkreditinstitut.  Stk. 5. Såfremt udlejeren ikke deponerer eller stiller sikkerhed efter stk. 2, kan fonden til dækning af udgifterne ved arbejdernes udførelse yde udlejeren et lån og som sikkerhed for lånet lade tinglyse pant i ejendommen med fortrinsret efter ejendomsskatter, men uden personlig hæftelse. Lånet udbetales kontant og forrentes med en rentesats, der fastsættes af fonden, og som ved lånets optagelse svarer til forrentningen efter stk. 4. Afdragstiden fastsættes til højst 10 år. Dette gælder også for udgifter til dækning af forundersøgelser og lign., som er nødvendige for fondens beslutning efter stk. 1. Fonden kan opkræve et administrationsbidrag svarende til, hvad der opkræves for realkredit som nævnt i stk. 4. Grundejernes Investeringsfond skal på begæring af en ejendoms administrator efter kapitel 5 udlevere materiale vedrørende ejendommen. Investeringsfonden kan kræve betaling til dækning af den udgift, der med rimelighed er afholdt til tilvejebringelse af dette materiale.  Stk. 6. Investeringsfonden kan i øvrigt bestemme, at indtil 50 pct. af lejeindtægten skal indbetales til fonden, indtil fonden har fået dækning for sine udlæg med påløbne omkostninger og renter. Investeringsfonden skal lade beslutningen, der er gyldig mod enhver, tinglyse på ejendommen.  Stk. 7. Såfremt investeringsfonden efter stk. 6 kan oppebære en del af lejeindtægten, skal alle lejerne efter påkrav herom betale lejen til investeringsfonden, som refunderer udlejeren overskydende beløb. Kun betaling til investeringsfonden har frigørende virkning.  Stk. 8. Nærmere regler om fondens adgang til at kræve gebyr for administration i forbindelse med arbejdernes udførelse fastsættes af indenrigs- og boligministeren.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Datasets: danish_law-validator and ai-job-test
• Evaluated with TripletEvaluator

Metric	danish_law-validator	ai-job-test
cosine_accuracy	0.9733	0.9719

Training Details

Training Dataset

danish_law_qa

• Dataset: danish_law_qa at 075eed8
• Size: 18,715 training samples
• Columns: question, context, and neg_context
• Approximate statistics based on the first 1000 samples:

  	question	context	neg_context
  type	string	string	string
  details	min: 2 tokens mean: 31.41 tokens max: 80 tokens	min: 54 tokens mean: 413.02 tokens max: 512 tokens	min: 19 tokens mean: 413.2 tokens max: 512 tokens

• Samples:

  question	context	neg_context
  Hvad skal fremgå af en lejeaftale hvis udlejeren ønsker at opkræve en leje baseret på § 25, stk. 2	Lov om leje (Lejeaftalens udformning og indhold): § 11. En lejeaftale og andre aftaler om det lejede skal udfærdiges skriftligt, når en af parterne kræver det. Stk. 2. En lejeaftale anses for indgået på lovens vilkår, i det omfang der ikke udtrykkeligt er fastsat andet i aftalen. Stk. 3. Er lejens størrelse ikke aftalt, anses den for at udgøre det beløb, der er rimeligt under hensyn til reglerne i kapitel 3 eller reglerne om det lejedes værdi, jf. § 42, stk. 2 og 3, eller § 43. Stk. 4. Ønsker udlejeren at opkræve en leje, hvor afkastet beregnes efter § 25, stk. 2, skal det fremgå af lejeaftalen, hvornår den aftalte leje senest er fastsat efter § 23, og der skal i aftalen skønsmæssigt angives størrelsen af den leje, der maksimalt kan beregnes for lejemålet på tidspunktet for lejeaftalens indgåelse. Det skal tillige fremgå, om den aftalte leje er nedsat i henhold til § 23, stk. 2. Stk. 5. For lejeaftaler, som er omfattet af udlejerens beslutning om regulering efter nettoprisindeks...	Lov om Kreditforeningen af kommuner og regioner i Danmark (intro): Lov om Kreditforeningen af kommuner og regioner i Danmark VI MARGRETHE DEN ANDEN, af Guds Nåde Danmarks Dronning, gør vitterligt: Folketinget har vedtaget og Vi ved Vort samtykke stadfæstet følgende lov:
  Gælder reglerne i forvaltningsloven og loven om offentlighed i forvaltningen for sager, hvor en tilskudsmodtager træffer afgørelse om ydelse af tilskud på vegne af staten?	Lov om økonomiske og administrative forhold for modtagere af driftstilskud fra Kulturministeriet (Kapitel 6): Andre bestemmelser § 10. Tilskudsmodtageren skal sikre, at informationer om tilskudsmodtagerens organisation og aktiviteter er let tilgængelige for offentligheden. § 11. Reglerne i forvaltningsloven og lov om offentlighed i forvaltningen gælder for de sager, hvori en tilskudsmodtager på vegne af staten træffer afgørelse om ydelse af tilskud.	Lov om en terrorforsikringsordning på skadesforsikringsområdet (Kapitel 2): Finansiering og tilbagebetaling § 3. Udbetalinger efter loven samt de medfølgende administrationsomkostninger finansieres ved et statsligt genudlån. Der kan optages genudlån inden for en samlet ramme på 13,4 mia. kr. (2010-niveau). Genudlånsrammen reguleres efter personskattelovens § 20. Stk. 2. Overstiger værdien af de samlede erstatningsberettigede skader i forbindelse med et NBCR-terrorangreb genudlånsrammen, har de erstatningsberettigede alene krav på en forholdsmæssig udbetaling. Stk. 3. Træk på det statslige genudlån skal tilbagebetales med en forrentning svarende til den til enhver tid fastsatte officielle diskonto. Renten tilskrives ved hvert kalenderårs udløb. Genudlånet tilbagebetales via efterfølgende opkrævninger af en årlig afgift pålagt forsikringspolicer omfattet af ordningen. Stk. 4. Afgiften opkræves af skadesforsikringsselskaberne og udgør et tillæg til forsikringspræmien på 5 pct. pr....
  Hvordan beskytter loven om leje lejerens rettigheder?	Lov om leje (Fravigelighed): § 148. §§ 142 og 143, § 144 stk. 2, 2. pkt., og §§ 145 og 146 kan ikke fraviges til skade for lejeren. Kapitel 17 Lejerens brug af det lejede	Lov om projektering og anlæg af en energiø i Nordsøen (Projektering og meddelelse af tilladelser): § 2. Klima-, energi- og forsyningsministeren bemyndiges til at foretage forberedelse og projektering, herunder afholdelse af udbud, og de øvrige dispositioner, som er nødvendige for anlæg af energiøen. § 3. Efter ansøgning fra udbudsvinderen meddeler klima-, energi- og forsyningsministeren tilladelse til gennemførelse af forundersøgelser til energiøen. Stk. 2. Klima-, energi- og forsyningsministeren kan fastsætte vilkår for tilladelsen til forundersøgelser, herunder om de forhold, som skal undersøges, om forundersøgelsernes forløb og tidsrum og om overholdelsen af miljø- og sikkerhedskrav. § 4. Klima-, energi- og forsyningsministeren meddeler tilladelse til anlæg af energiøen. Stk. 2. Tilladelsen, der fastsætter den konkrete placering, konstruktion og størrelse og det konkrete design af energiøen, meddeles på baggrund af udbudsvinderens projektbeskrivelse og ansøgning om tillad...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

danish_law_qa

• Dataset: danish_law_qa at 075eed8
• Size: 18,715 evaluation samples
• Columns: question, context, and neg_context
• Approximate statistics based on the first 1000 samples:

  	question	context	neg_context
  type	string	string	string
  details	min: 10 tokens mean: 31.79 tokens max: 88 tokens	min: 19 tokens mean: 410.47 tokens max: 512 tokens	min: 19 tokens mean: 424.61 tokens max: 512 tokens

• Samples:

  question	context	neg_context
  Kan vildsvinehegnet udgøres af andre foranstaltninger end almindelige hegn på visse strækninger?	Lov om projektering og anlæg af et vildsvinehegn langs den dansk-tyske landegrænse (Bemyndigelse til projektering og meddelelse af anlægstilladelse): § 1. Miljø- og fødevareministeren bemyndiges til at projektere og meddele tilladelse til anlæg af et vildsvinehegn langs den dansk-tyske landegrænse, herunder til at træffe de øvrige dispositioner i form af eksempelvis afværgeforanstaltninger eller kompenserende foranstaltninger, som er nødvendige i forbindelse med projekteringen og anlægget af hegnet. Stk. 2. Tilladelse til anlæg af vildsvinehegnet, der fastlægger hegnets præcise placering og udformning m.v. langs den dansk-tyske landegrænse, meddeles af miljø- og fødevareministeren efter projektbeskrivelse og ansøgning om anlægstilladelse fra Naturstyrelsen. Miljø- og fødevareministeren kan tillade, at vildsvinehegnet på visse strækninger udgøres af andre foranstaltninger med barrierevirkning for vildsvin end almindelige hegn, herunder f.eks. flydespærringer. Projektbeskrivelse, an...	Lov om flagning (Kapitel 1): Danmarks nationalflag § 1. Danmarks Riges nationalflag er Dannebrog. Stk. 2. Dannebrog som splitflag føres af kongehuset, Folketinget, statslige myndigheder og domstolene samt institutioner m.v., der har særlig tilladelse hertil.
  Hvad er formålet med loven om internationale sikkerhedsrettigheder i flymateriel?	Lov om internationale sikkerhedsrettigheder i flymateriel (Kapitel 1): Anvendelsesområde § 1. Bestemmelserne i Cape Town-konventionen, jf. bilag 1 til denne lov, og den til konventionen knyttede flymaterielprotokol, jf. bilag 2 til denne lov, gælder her i landet, jf. dog stk. 2-4. Stk. 2. Protokollens artikel VIII og XXI finder ikke anvendelse. Stk. 3. Konventionens artikel 13 og 43 finder anvendelse inden for rammerne af Bruxelles I-forordningen, jf. lov om Bruxelles I-forordningen m.v. Stk. 4. Protokollens artikel XI finder anvendelse med den ordlyd, der fremgår af bestemmelsens alternativ A. Karenstiden i henhold til bestemmelsen fastsættes til 60 dage. § 2. Sikkerhedsrettigheder i flygenstande, jf. protokollens artikel I, stk. 2, litra c, der er stiftet ved retsforfølgning, skal registreres i medfør af konventionen og protokollen for at opnå beskyttelse over for aftaler om flygenstanden og mod retsforfølgning. § 3. Fortrinsret for krav på offentlige afgifter i her i l...	Lov om opgradering af Øresundsbanen (Kapitel 1): Projektering og anlæg § 1. Loven omfatter følgende jernbaneprojekter, som gennemføres inden for de områder, der fremgår af lovens bilag 1-3: 1) Udvidelse af Københavns Lufthavn Station. 2) Etablering af overhalingsspor ved Kalvebod. 3) Etablering af vendespor ved Københavns Lufthavn Station. Stk. 2. Sund & Bælt Holding A/S med tilhørende datterselskaber kan projektere og anlægge jernbaneprojekterne nævnt i stk. 1.
  Hvad er bilag 1 og bilag 3 i loven omhandlende?	Lov om anvendelse af multilateral konvention til gennemførelse af tiltag i dobbeltbeskatningsoverenskomster til forhindring af skatteudhuling og overskudsflytning (intro): Lov om anvendelse af multilateral konvention til gennemførelse af tiltag i dobbeltbeskatningsoverenskomster til forhindring af skatteudhuling og overskudsflytning VI MARGRETHE DEN ANDEN, af Guds Nåde Danmarks Dronning, gør vitterligt: Folketinget har vedtaget og Vi ved Vort samtykke stadfæstet følgende lov: § 1. Bestemmelserne i multilateral konvention af 24. november 2016 til gennemførelse af tiltag i dobbeltbeskatningsoverenskomster til forhindring af skatteudhuling og overskudsflytning, jf. bilag 1, kan anvendes på de dobbeltbeskatningsoverenskomster, der er nævnt i bilag 3, jf. dog stk. 2. 1. pkt. kan endvidere anvendes på overenskomst af 14. marts 2018 mellem Kongeriget Danmark og Republikken Armenien til undgåelse af dobbeltbeskatning og forhindring af skatteunddragelse, for så vidt angår indkomst- og formue...	Lov om rørført transport af CO21) (Kapitel 5): Tilsyn § 13. Klima-, energi- og forsyningsministeren fører tilsyn med, at denne lov, regler udstedt i medfør af loven og vilkår udfærdiget i tilladelser overholdes. Stk. 2. Klima-, energi- og forsyningsministeren kan meddele påbud om overholdelse af loven og forskrifter udstedt i medfør heraf. Stk. 3. Klima-, energi- og forsyningsministeren kan fastsætte nærmere regler om udøvelsen af tilsynet. § 14. Klima-, energi- og forsyningsministeren kan i forbindelse med behandling af sager og udøvelse af tilsyn omfattet af denne lov indhente oplysninger, som er nødvendige for varetagelsen af disse opgaver, hos rettighedshavere. Stk. 2. Ved manglende udlevering af alle nødvendige oplysninger kan klima-, energi- og forsyningsministeren pålægge rettighedshaver at indsende manglende oplysninger og fastsætte en tidsfrist for en sådan indsendelse. Stk. 3. Oplysninger, som klima-, energi- og forsyningsministeren modtager i forbindelse med behand...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	danish_law-validator_cosine_accuracy	ai-job-test_cosine_accuracy
-1	-1	-	-	0.8259	-
0.0947	100	1.522	1.0103	0.9498	-
0.1894	200	1.0991	0.8589	0.9573	-
0.2841	300	0.9759	0.8044	0.9658	-
0.3788	400	0.85	0.7616	0.9658	-
0.4735	500	0.8369	0.7363	0.9722	-
0.5682	600	0.8284	0.6936	0.9712	-
0.6629	700	0.8747	0.6794	0.9701	-
0.7576	800	0.7615	0.6735	0.9701	-
0.8523	900	0.7862	0.6651	0.9733	-
0.9470	1000	0.749	0.6638	0.9722	-
-1	-1	-	-	0.9733	0.9719

Framework Versions

• Python: 3.12.7
• Sentence Transformers: 3.4.0
• Transformers: 4.46.3
• PyTorch: 2.5.1
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}