Add BERTopic model
Browse files- README.md +145 -0
- config.json +16 -0
- ctfidf.safetensors +3 -0
- ctfidf_config.json +0 -0
- topic_embeddings.safetensors +3 -0
- topics.json +0 -0
README.md
ADDED
|
@@ -0,0 +1,145 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
|
| 2 |
+
---
|
| 3 |
+
tags:
|
| 4 |
+
- bertopic
|
| 5 |
+
library_name: bertopic
|
| 6 |
+
pipeline_tag: text-classification
|
| 7 |
+
---
|
| 8 |
+
|
| 9 |
+
# MARTINI_enrich_BERTopic_mincevicius
|
| 10 |
+
|
| 11 |
+
This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model.
|
| 12 |
+
BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets.
|
| 13 |
+
|
| 14 |
+
## Usage
|
| 15 |
+
|
| 16 |
+
To use this model, please install BERTopic:
|
| 17 |
+
|
| 18 |
+
```
|
| 19 |
+
pip install -U bertopic
|
| 20 |
+
```
|
| 21 |
+
|
| 22 |
+
You can use the model as follows:
|
| 23 |
+
|
| 24 |
+
```python
|
| 25 |
+
from bertopic import BERTopic
|
| 26 |
+
topic_model = BERTopic.load("AIDA-UPM/MARTINI_enrich_BERTopic_mincevicius")
|
| 27 |
+
|
| 28 |
+
topic_model.get_topic_info()
|
| 29 |
+
```
|
| 30 |
+
|
| 31 |
+
## Topic overview
|
| 32 |
+
|
| 33 |
+
* Number of topics: 76
|
| 34 |
+
* Number of training documents: 9055
|
| 35 |
+
|
| 36 |
+
<details>
|
| 37 |
+
<summary>Click here for an overview of all topics.</summary>
|
| 38 |
+
|
| 39 |
+
| Topic ID | Topic Keywords | Topic Frequency | Label |
|
| 40 |
+
|----------|----------------|-----------------|-------|
|
| 41 |
+
| -1 | ukrainoje - bidenas - amerikieciu - nato - pandemija | 20 | -1_ukrainoje_bidenas_amerikieciu_nato |
|
| 42 |
+
| 0 | nusvitimo - niekada - iliuzija - energija - emociju | 4842 | 0_nusvitimo_niekada_iliuzija_energija |
|
| 43 |
+
| 1 | hezbollah - gaza - izraeliu - palestinieciams - netanyahu | 397 | 1_hezbollah_gaza_izraeliu_palestinieciams |
|
| 44 |
+
| 2 | klimatui - thunberg - skaiciaus - propagandistai - 2030 | 185 | 2_klimatui_thunberg_skaiciaus_propagandistai |
|
| 45 |
+
| 3 | pfizer - farmacijos - puslapiu - dokumentai - gsk | 181 | 3_pfizer_farmacijos_puslapiu_dokumentai |
|
| 46 |
+
| 4 | trumpas - prezidentui - giuliani - romney - antrankiai | 160 | 4_trumpas_prezidentui_giuliani_romney |
|
| 47 |
+
| 5 | pandemija - koronavirusa - virusologijos - 2020 - h5n1 | 155 | 5_pandemija_koronavirusa_virusologijos_2020 |
|
| 48 |
+
| 6 | twitter - elonmusk - platformoje - donaldo - robotus | 121 | 6_twitter_elonmusk_platformoje_donaldo |
|
| 49 |
+
| 7 | pandemija - koronaviruso - koronarinemis - susipainiojate - chirurginiu | 109 | 7_pandemija_koronaviruso_koronarinemis_susipainiojate |
|
| 50 |
+
| 8 | kapitalistus - revoliucijos - korporaciju - schwabas - kissingeris | 93 | 8_kapitalistus_revoliucijos_korporaciju_schwabas |
|
| 51 |
+
| 9 | ukraina - biolaboratorijomis - rusijos - sovietu - gruzijos | 89 | 9_ukraina_biolaboratorijomis_rusijos_sovietu |
|
| 52 |
+
| 10 | transseksualiu - lgbtqi - lesbieciu - priekabiavimas - tualetus | 83 | 10_transseksualiu_lgbtqi_lesbieciu_priekabiavimas |
|
| 53 |
+
| 11 | ghislaine - epsteinas - prostituciu - clinton - tikslais | 81 | 11_ghislaine_epsteinas_prostituciu_clinton |
|
| 54 |
+
| 12 | robotais - robotikos - robotu - robotizuota - humanoidiniu | 81 | 12_robotais_robotikos_robotu_robotizuota |
|
| 55 |
+
| 13 | energija - europoje - rusisku - krizes - vengrija | 77 | 13_energija_europoje_rusisku_krizes |
|
| 56 |
+
| 14 | transhumanizmu - technologijas - neurotechnologiju - intelektas - implantai | 71 | 14_transhumanizmu_technologijas_neurotechnologiju_intelektas |
|
| 57 |
+
| 15 | pornografijos - pornografija - seksualiai - pornografinius - pedofilai | 69 | 15_pornografijos_pornografija_seksualiai_pornografinius |
|
| 58 |
+
| 16 | nasa - raketa - orbita - asteroidai - kosminiu | 65 | 16_nasa_raketa_orbita_asteroidai |
|
| 59 |
+
| 17 | bidenas - prezidentavimo - kamala - amerikos - kandidatuotumete | 62 | 17_bidenas_prezidentavimo_kamala_amerikos |
|
| 60 |
+
| 18 | coronavac - injekcijos - astrazeneca - miokarditu - hepatita | 61 | 18_coronavac_injekcijos_astrazeneca_miokarditu |
|
| 61 |
+
| 19 | prancuzijos - protestuotojai - paryziu - prezidentus - macrono | 61 | 19_prancuzijos_protestuotojai_paryziu_prezidentus |
|
| 62 |
+
| 20 | britanijos - bbc - parlamentaru - blairas - apzvalgininkas | 59 | 20_britanijos_bbc_parlamentaru_blairas |
|
| 63 |
+
| 21 | bolsonaro - brazilijos - prezidentui - maduro - protestuotojams | 58 | 21_bolsonaro_brazilijos_prezidentui_maduro |
|
| 64 |
+
| 22 | nufilmuotas - lietuviskai - traukinio - fantazijos - prediktyviniu | 58 | 22_nufilmuotas_lietuviskai_traukinio_fantazijos |
|
| 65 |
+
| 23 | satanistai - liuciferio - antikristo - okultistai - ritualu | 58 | 23_satanistai_liuciferio_antikristo_okultistai |
|
| 66 |
+
| 24 | facebook - zuckerbergas - dezinformacija - профиля - reguliuoti | 58 | 24_facebook_zuckerbergas_dezinformacija_профиля |
|
| 67 |
+
| 25 | trumpas - russiagate - prezidentu - pompeo - nepatiketumete | 57 | 25_trumpas_russiagate_prezidentu_pompeo |
|
| 68 |
+
| 26 | ukrainoje - dniepropetrovsko - kirovogrado - raketos - prieslektuviniu | 56 | 26_ukrainoje_dniepropetrovsko_kirovogrado_raketos |
|
| 69 |
+
| 27 | australijos - nsw - covid - vakcinacijos - atsiprasyciau | 53 | 27_australijos_nsw_covid_vakcinacijos |
|
| 70 |
+
| 28 | turkija - gaziantepo - kahramanmare - bombardavimas - kilometru | 53 | 28_turkija_gaziantepo_kahramanmare_bombardavimas |
|
| 71 |
+
| 29 | rostovo - sovietu - peterburgo - myasnikovskio - baltarusijos | 52 | 29_rostovo_sovietu_peterburgo_myasnikovskio |
|
| 72 |
+
| 30 | pedofilija - holivudas - filmavimo - kristaus - kidman | 51 | 30_pedofilija_holivudas_filmavimo_kristaus |
|
| 73 |
+
| 31 | kardashian - balenciaga - satanizmu - skandalo - kanibalu | 51 | 31_kardashian_balenciaga_satanizmu_skandalo |
|
| 74 |
+
| 32 | protestuoti - nyderlandu - hoekstra - eurokratas - ukininkams | 50 | 32_protestuoti_nyderlandu_hoekstra_eurokratas |
|
| 75 |
+
| 33 | abortuotu - kavanaugh - teisejo - ritualas - nusizudyti | 49 | 33_abortuotu_kavanaugh_teisejo_ritualas |
|
| 76 |
+
| 34 | futbolininkai - treneriai - 2021 - arsenal - vakcinacijos | 46 | 34_futbolininkai_treneriai_2021_arsenal |
|
| 77 |
+
| 35 | koronaviruso - omikronas - vakcinoms - imunitetui - varianta | 44 | 35_koronaviruso_omikronas_vakcinoms_imunitetui |
|
| 78 |
+
| 36 | australijos - garsiniai - neregistruotiems - macquarie - policija | 44 | 36_australijos_garsiniai_neregistruotiems_macquarie |
|
| 79 |
+
| 37 | megavulkano - katastrofoje - sakurajima - issiliejimas - geologijos | 42 | 37_megavulkano_katastrofoje_sakurajima_issiliejimas |
|
| 80 |
+
| 38 | ukrainai - putinu - zelenskis - rusijoje - ministerija | 42 | 38_ukrainai_putinu_zelenskis_rusijoje |
|
| 81 |
+
| 39 | ukrainieciu - mariupolyje - zelenskis - kadyrovas - batalionu | 40 | 39_ukrainieciu_mariupolyje_zelenskis_kadyrovas |
|
| 82 |
+
| 40 | bidenas - dezinformacija - 2020 - kompiuteri - hunteri | 39 | 40_bidenas_dezinformacija_2020_kompiuteri |
|
| 83 |
+
| 41 | bankininkystes - centralizuoti - cbdc - bitcoin - fed | 37 | 41_bankininkystes_centralizuoti_cbdc_bitcoin |
|
| 84 |
+
| 42 | russiagate - clintonu - comey - susitarimo - kampanija | 35 | 42_russiagate_clintonu_comey_susitarimo |
|
| 85 |
+
| 43 | genomine - 23andme - biotechnologiju - novaseq - privatumo | 35 | 43_genomine_23andme_biotechnologiju_novaseq |
|
| 86 |
+
| 44 | imigracijos - migrantu - tukstanciai - nelegaliais - emanacija | 35 | 44_imigracijos_migrantu_tukstanciai_nelegaliais |
|
| 87 |
+
| 45 | biometriniu - identifikavimas - naujoviskus - touchless - mastercard | 34 | 45_biometriniu_identifikavimas_naujoviskus_touchless |
|
| 88 |
+
| 46 | covid - vakcinacijos - 2021 - statistikos - norvegijos | 33 | 46_covid_vakcinacijos_2021_statistikos |
|
| 89 |
+
| 47 | globalistinis - oligarchai - pasivaiksciojimas - ekonominiams - kontroliuoja | 33 | 47_globalistinis_oligarchai_pasivaiksciojimas_ekonominiams |
|
| 90 |
+
| 48 | prezidentura - dezinformacijos - departamento - demokratais - suskambes | 33 | 48_prezidentura_dezinformacijos_departamento_demokratais |
|
| 91 |
+
| 49 | zelenskiui - putinu - prezidentu - zacharova - volodymyras | 32 | 49_zelenskiui_putinu_prezidentu_zacharova |
|
| 92 |
+
| 50 | zelandija - jacinda - naujojoje - viceministres - terorizavusi | 31 | 50_zelandija_jacinda_naujojoje_viceministres |
|
| 93 |
+
| 51 | harari - nulauziamus - darwino - intelektas - noah | 31 | 51_harari_nulauziamus_darwino_intelektas |
|
| 94 |
+
| 52 | bidenas - ukrainoje - putina - amerikieciai - invazijos | 31 | 52_bidenas_ukrainoje_putina_amerikieciai |
|
| 95 |
+
| 53 | japonijoje - shinzo - raketa - kishida - diaoyu | 30 | 53_japonijoje_shinzo_raketa_kishida |
|
| 96 |
+
| 54 | aviakompanijos - pilotu - embraer - skrydziu - kolumba | 28 | 54_aviakompanijos_pilotu_embraer_skrydziu |
|
| 97 |
+
| 55 | vakcinacija - izraelio - pfizræl - yaakovas - suskaitmeninti | 28 | 55_vakcinacija_izraelio_pfizræl_yaakovas |
|
| 98 |
+
| 56 | gatesas - pandemija - billo - veiksmingesnius - bioterorizmas | 28 | 56_gatesas_pandemija_billo_veiksmingesnius |
|
| 99 |
+
| 57 | vakcinomis - didvyriskai - atnaujinkite - klaikiai - pavargusi | 27 | 57_vakcinomis_didvyriskai_atnaujinkite_klaikiai |
|
| 100 |
+
| 58 | tuckeris - carlsonas - populistams - interviu - proukrainietiska | 27 | 58_tuckeris_carlsonas_populistams_interviu |
|
| 101 |
+
| 59 | europarlamentarai - prancuzijoje - komisijos - prezidentes - korupcini | 26 | 59_europarlamentarai_prancuzijoje_komisijos_prezidentes |
|
| 102 |
+
| 60 | metaversa - nevirtualiame - technokratiniu - pornografines - jutikliai | 26 | 60_metaversa_nevirtualiame_technokratiniu_pornografines |
|
| 103 |
+
| 61 | kibernetiniu - rusija - technokratisku - isilauzeliai - nedemokratiniam | 25 | 61_kibernetiniu_rusija_technokratisku_isilauzeliai |
|
| 104 |
+
| 62 | pontifikas - arkivyskupas - benediktas - vatikane - antiglobalistini | 24 | 62_pontifikas_arkivyskupas_benediktas_vatikane |
|
| 105 |
+
| 63 | italija - antivakcininis - sertifikatai - toskanoje - klinika | 24 | 63_italija_antivakcininis_sertifikatai_toskanoje |
|
| 106 |
+
| 64 | chatgpt - google - intelekta - modeliais - skelbimai | 23 | 64_chatgpt_google_intelekta_modeliais |
|
| 107 |
+
| 65 | gatesas - billo - filantropiniu - investuojamos - technokratais | 23 | 65_gatesas_billo_filantropiniu_investuojamos |
|
| 108 |
+
| 66 | trudeau - kanadai - autoritariskumui - parlamento - revoliuciju | 23 | 66_trudeau_kanadai_autoritariskumui_parlamento |
|
| 109 |
+
| 67 | bankrotai - spekuliacija - finansines - makroekonomika - suisse | 23 | 67_bankrotai_spekuliacija_finansines_makroekonomika |
|
| 110 |
+
| 68 | antivakseriai - vakcinologo - klinikiniame - praktikuojantiems - komplikavosi | 22 | 68_antivakseriai_vakcinologo_klinikiniame_praktikuojantiems |
|
| 111 |
+
| 69 | kazachstanas - protestuotojai - naujagimiai - nazarbajeva - respublikos | 22 | 69_kazachstanas_protestuotojai_naujagimiai_nazarbajeva |
|
| 112 |
+
| 70 | trudeau - kanadieciai - protestuotojus - sunkvezimiai - montreal | 21 | 70_trudeau_kanadieciai_protestuotojus_sunkvezimiai |
|
| 113 |
+
| 71 | trumpas - gvantanamo - korupcija - patriotai - propaganda | 21 | 71_trumpas_gvantanamo_korupcija_patriotai |
|
| 114 |
+
| 72 | manipuliavimui - eksperimentai - monrealio - trikdyti - kontroliuojant | 21 | 72_manipuliavimui_eksperimentai_monrealio_trikdyti |
|
| 115 |
+
| 73 | ghebreyesus - pandemijai - direktoriaus - etiopijos - glaudziai | 20 | 73_ghebreyesus_pandemijai_direktoriaus_etiopijos |
|
| 116 |
+
| 74 | desantis - gubernatoriu - floridoje - ronas - ivardytas | 20 | 74_desantis_gubernatoriu_floridoje_ronas |
|
| 117 |
+
|
| 118 |
+
</details>
|
| 119 |
+
|
| 120 |
+
## Training hyperparameters
|
| 121 |
+
|
| 122 |
+
* calculate_probabilities: True
|
| 123 |
+
* language: None
|
| 124 |
+
* low_memory: False
|
| 125 |
+
* min_topic_size: 10
|
| 126 |
+
* n_gram_range: (1, 1)
|
| 127 |
+
* nr_topics: None
|
| 128 |
+
* seed_topic_list: None
|
| 129 |
+
* top_n_words: 10
|
| 130 |
+
* verbose: False
|
| 131 |
+
* zeroshot_min_similarity: 0.7
|
| 132 |
+
* zeroshot_topic_list: None
|
| 133 |
+
|
| 134 |
+
## Framework versions
|
| 135 |
+
|
| 136 |
+
* Numpy: 1.26.4
|
| 137 |
+
* HDBSCAN: 0.8.40
|
| 138 |
+
* UMAP: 0.5.7
|
| 139 |
+
* Pandas: 2.2.3
|
| 140 |
+
* Scikit-Learn: 1.5.2
|
| 141 |
+
* Sentence-transformers: 3.3.1
|
| 142 |
+
* Transformers: 4.46.3
|
| 143 |
+
* Numba: 0.60.0
|
| 144 |
+
* Plotly: 5.24.1
|
| 145 |
+
* Python: 3.10.12
|
config.json
ADDED
|
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"calculate_probabilities": true,
|
| 3 |
+
"language": null,
|
| 4 |
+
"low_memory": false,
|
| 5 |
+
"min_topic_size": 10,
|
| 6 |
+
"n_gram_range": [
|
| 7 |
+
1,
|
| 8 |
+
1
|
| 9 |
+
],
|
| 10 |
+
"nr_topics": null,
|
| 11 |
+
"seed_topic_list": null,
|
| 12 |
+
"top_n_words": 10,
|
| 13 |
+
"verbose": false,
|
| 14 |
+
"zeroshot_min_similarity": 0.7,
|
| 15 |
+
"zeroshot_topic_list": null
|
| 16 |
+
}
|
ctfidf.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:a73b1779da5a8ce10b063ab7a523a8ee7643f5d87fd0ac2e7dfd0c96c954c3a3
|
| 3 |
+
size 2859840
|
ctfidf_config.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
topic_embeddings.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:ca8861baec119d80e331f7c1766d2a8acfbdae46296acbbf87d2e1e6200f0e46
|
| 3 |
+
size 311384
|
topics.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|