Token Classification
GLiNER
PyTorch
ONNX
NER
GLiNER
information extraction
encoder
entity recognition
Ihor commited on
Commit
66599b9
·
verified ·
1 Parent(s): b3756a1

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +588 -3
README.md CHANGED
@@ -1,3 +1,588 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - multilingual
5
+ - da
6
+ - sv
7
+ - 'no'
8
+ - cs
9
+ - pl
10
+ - lt
11
+ - et
12
+ - lv
13
+ - es
14
+ - fi
15
+ - en
16
+ - de
17
+ - fr
18
+ - ro
19
+ - it
20
+ - pt
21
+ - nl
22
+ library_name: gliner
23
+ datasets:
24
+ - knowledgator/gliner-multilingual-synthetic
25
+ - lang-uk/UberText-NER-Silver
26
+ pipeline_tag: token-classification
27
+ tags:
28
+ - NER
29
+ - GLiNER
30
+ - information extraction
31
+ - encoder
32
+ - entity recognition
33
+ - multilingual
34
+ ---
35
+
36
+ ![alt text](image.png)
37
+
38
+ **GLiNER** is a Named Entity Recognition (NER) model capable of identifying any entity type using a bidirectional transformer encoders (BERT-like). It provides a practical alternative to traditional NER models, which are limited to predefined entities, and Large Language Models (LLMs) that, despite their flexibility, are costly and large for resource-constrained scenarios.
39
+
40
+ The initial GLiNER models were trained mainly on English data. Available multilingual models relied on existing multilingual NER datasets, but we prepared synthetical dataset [knowledgator/gliner-multilingual-synthetic](https://huggingface.co/datasets/knowledgator/gliner-multilingual-synthetic) using LLM to annotate [Fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) multilingual dataset. To enable broader language coverage, we replaced the `DeBERTa` backbone used in monolingual GLiNER models with `MT5` encoders, improving performance and adaptability across diverse languages.
41
+
42
+ Key Advantages Over Previous GLiNER Models:
43
+ * Enhanced performance and generalization capabilities
44
+ * Supports , `Swedish`, `Norwegian`, `Czech`, `Polish`, `Lithuanian`, `Estonian`, `Latvian`, `Spanish`, `Finnish`, `English`, `German`, `French`, `Romanian`, `Italian`, `Portuguese`, `Dutch`, `Ukrainian`, `Chinese`, `Arabic` languages.
45
+ * 3 model size available.
46
+
47
+ ### Installation & Usage
48
+ Install or update the gliner package with all tokenizers that might be needed to process different languages:
49
+ ```bash
50
+ pip install gliner[tokenizers] -U
51
+ ```
52
+ Once you've downloaded the GLiNER library, you can import the GLiNER class. You can then load this model using `GLiNER.from_pretrained` and predict entities with `predict_entities`.
53
+
54
+ ```python
55
+ from gliner import GLiNER
56
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
57
+ text = """
58
+ Cristiano Ronaldo dos Santos Aveiro (Portuguese pronunciation: [kɾiʃˈtjɐnu ʁɔˈnaldu]; born 5 February 1985) is a Portuguese professional footballer who plays as a forward for and captains both Saudi Pro League club Al Nassr and the Portugal national team. Widely regarded as one of the greatest players of all time, Ronaldo has won five Ballon d'Or awards,[note 3] a record three UEFA Men's Player of the Year Awards, and four European Golden Shoes, the most by a European player. He has won 33 trophies in his career, including seven league titles, five UEFA Champions Leagues, the UEFA European Championship and the UEFA Nations League. Ronaldo holds the records for most appearances (183), goals (140) and assists (42) in the Champions League, goals in the European Championship (14), international goals (128) and international appearances (205). He is one of the few players to have made over 1,200 professional career appearances, the most by an outfield player, and has scored over 850 official senior career goals for club and country, making him the top goalscorer of all time.
59
+ """
60
+ labels = ["person", "award", "date", "competitions", "teams"]
61
+ entities = model.predict_entities(text, labels, threshold=0.5)
62
+ for entity in entities:
63
+ print(entity["text"], "=>", entity["label"])
64
+ ```
65
+
66
+ ```
67
+ Cristiano Ronaldo dos Santos Aveiro => persona
68
+ 5 de febrero de 1985 => fecha
69
+ Al Nassr de la Liga Profesional Saudí => equipos
70
+ selección nacional de Portugal => equipos
71
+ Balón de Oro => premio
72
+ Jugador del Año de la UEFA => premio
73
+ Botas de Oro europeas => premio
74
+ 33 trofeos => premio
75
+ Ligas de Campeones de la UEFA => competiciones
76
+ Eurocopa => competiciones
77
+ Liga de Naciones de la UEFA => competiciones
78
+ Liga de Campeones => competiciones
79
+ ```
80
+
81
+ <details>
82
+ <summary>Spanish</summary>
83
+
84
+ ```python
85
+ from gliner import GLiNER
86
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
87
+ text = """
88
+ Cristiano Ronaldo dos Santos Aveiro (pronunciación en portugués: [kɾiʃˈtjɐnu ʁɔˈnaldu]; nacido el 5 de febrero de 1985) es un futbolista profesional portugués que juega como delantero y es capitán tanto del club Al Nassr de la Liga Profesional Saudí como de la selección nacional de Portugal. Ampliamente considerado como uno de los mejores jugadores de todos los tiempos, Ronaldo ha ganado cinco premios Balón de Oro, un récord de tres premios al Jugador del Año de la UEFA y cuatro Botas de Oro europeas, la mayor cantidad para un jugador europeo. Ha ganado 33 trofeos en su carrera, incluidos siete títulos de liga, cinco Ligas de Campeones de la UEFA, la Eurocopa y la Liga de Naciones de la UEFA. Ronaldo posee los récords de más apariciones (183), goles (140) y asistencias (42) en la Liga de Campeones, goles en la Eurocopa (14), goles internacionales (128) y apariciones internacionales (205). Es uno de los pocos jugadores que ha disputado más de 1.200 partidos profesionales en su carrera, la mayor cantidad para un jugador de campo, y ha marcado más de 850 goles oficiales en su carrera senior con clubes y selecciones, lo que lo convierte en el máximo goleador de todos los tiempos.
89
+ """
90
+ labels = ["persona", "premio", "fecha", "competiciones", "equipos"]
91
+ entities = model.predict_entities(text, labels, threshold=0.5)
92
+ for entity in entities:
93
+ print(entity["text"], "=>", entity["label"])
94
+ ```
95
+
96
+ ```
97
+ Cristiano Ronaldo dos Santos Aveiro => persona
98
+ 5 de febrero de 1985 => fecha
99
+ Al Nassr de la Liga Profesional Saudí => equipos
100
+ selección nacional de Portugal => equipos
101
+ Balón de Oro => premio
102
+ Jugador del Año de la UEFA => premio
103
+ Botas de Oro europeas => premio
104
+ 33 trofeos => premio
105
+ Ligas de Campeones de la UEFA => competiciones
106
+ Eurocopa => competiciones
107
+ Liga de Naciones de la UEFA => competiciones
108
+ Liga de Campeones => competiciones
109
+ ```
110
+ </details>
111
+
112
+ <details>
113
+ <summary>Danish</summary>
114
+
115
+ ```python
116
+ from gliner import GLiNER
117
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
118
+ text = """
119
+ Cristiano Ronaldo dos Santos Aveiro (portugisisk udtale: [kɾiʃˈtjɐnu ʁɔˈnaldu]; født 5. februar 1985) er en portugisisk professionel fodboldspiller, der spiller som angriber for og er anfører for både den saudiske Pro League-klub Al Nassr og det portugisiske landshold. Bredt anerkendt som en af de største spillere gennem tiderne har Ronaldo vundet fem Ballon d'Or-priser, en rekord på tre UEFA Men's Player of the Year-priser og fire europæiske Guldstøvler – flest af en europæisk spiller. Han har vundet 33 trofæer i sin karriere, herunder syv ligatitler, fem UEFA Champions League-titler, EM og UEFA Nations League. Ronaldo har rekorderne for flest optrædener (183), mål (140) og assists (42) i Champions League, mål ved EM (14), internationale mål (128) og internationale optrædener (205). Han er en af de få spillere, der har spillet over 1.200 professionelle kampe – flest af en markspiller – og har scoret over 850 officielle mål i sin seniorkarriere for klub og land, hvilket gør ham til historiens mest scorende spiller.
120
+ """
121
+ labels = ["person", "pris", "dato", "turneringer", "hold"]
122
+ entities = model.predict_entities(text, labels, threshold=0.5)
123
+ for entity in entities:
124
+ print(entity["text"], "=>", entity["label"])
125
+ ```
126
+
127
+ ```
128
+ Cristiano Ronaldo dos Santos Aveiro => person
129
+ 5. februar 1985 => dato
130
+ Pro League-klub => hold
131
+ Al Nassr => hold
132
+ portugisiske landshold => hold
133
+ Ballon d'Or-priser => pris
134
+ UEFA Men's Player of the Year-priser => turneringer
135
+ Guldstøvler => pris
136
+ UEFA Champions League-titler => turneringer
137
+ EM => turneringer
138
+ UEFA Nations League => turneringer
139
+ Champions League => turneringer
140
+ EM => turneringer
141
+ ```
142
+ </details>
143
+
144
+ <details>
145
+ <summary>Swedish</summary>
146
+
147
+ ```python
148
+ from gliner import GLiNER
149
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
150
+ text = """
151
+ Cristiano Ronaldo dos Santos Aveiro (portugisisk uttal: [kɾiʃˈtjɐnu ʁɔˈnaldu]; född 5 februari 1985) är en portugisisk professionell fotbollsspelare som spelar som anfallare för och är kapten för både Saudi Pro League-klubben Al Nassr och Portugals landslag. Allmänt ansedd som en av de största spelarna genom tiderna har Ronaldo vunnit fem Ballon d'Or-utmärkelser, ett rekord på tre UEFA:s Årets spelare och fyra europeiska Gyllene skor – flest av en europeisk spelare. Han har vunnit 33 troféer under sin karriär, inklusive sju ligatitlar, fem UEFA Champions League-titlar, UEFA:s europamästerskap och UEFA Nations League. Ronaldo innehar rekorden för flest framträdanden (183), mål (140) och assist (42) i Champions League, mål i EM (14), landslagsmål (128) och landslagsframträdanden (205). Han är en av få spelare som spelat över 1 200 professionella matcher, flest av en utespelare, och har gjort över 850 officiella seniormål för klubb och landslag, vilket gör honom till den främsta målskytten genom tiderna.
152
+ """
153
+ labels = ["person", "utmärkelse", "datum", "tävlingar", "lag"]
154
+ entities = model.predict_entities(text, labels, threshold=0.5)
155
+ for entity in entities:
156
+ print(entity["text"], "=>", entity["label"])
157
+ ```
158
+
159
+ ```
160
+ Cristiano Ronaldo dos Santos Aveiro => person
161
+ 5 februari 1985 => datum
162
+ Saudi Pro League-klubben => lag
163
+ Al Nassr => lag
164
+ Portugals landslag => lag
165
+ Ballon d'Or-utmärkelser => utmärkelse
166
+ Årets spelare => utmärkelse
167
+ Gyllene skor => utmärkelse
168
+ 33 troféer => utmärkelse
169
+ sju ligatitlar => utmärkelse
170
+ UEFA Champions League-titlar => tävlingar
171
+ UEFA:s europamästerskap => tävlingar
172
+ UEFA Nations League => tävlingar
173
+ Champions League => tävlingar
174
+ EM => tävlingar
175
+ ```
176
+ </details>
177
+
178
+ <details>
179
+ <summary>Norwegian</summary>
180
+
181
+ ```python
182
+ from gliner import GLiNER
183
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
184
+ text = """
185
+ Cristiano Ronaldo dos Santos Aveiro (portugisisk uttale: [kɾiʃˈtjɐnu ʁɔˈnaldu]; født 5. februar 1985) er en portugisisk profesjonell fotballspiller som spiller som spiss og er kaptein både for den saudiarabiske klubben Al Nassr og det portugisiske landslaget. Bredt ansett som en av tidenes beste spillere, har Ronaldo vunnet fem Ballon d'Or-priser, en rekord på tre UEFA Årets Spiller-priser, og fire europeiske Gullstøvler – flest av alle europeiske spillere. Han har vunnet 33 troféer i løpet av karrieren, inkludert syv ligatitler, fem UEFA Champions League-titler, EM og UEFA Nations League. Ronaldo innehar rekordene for flest opptredener (183), mål (140) og målgivende pasninger (42) i Champions League, mål i EM (14), landslagsmål (128) og landskamper (205). Han er en av få spillere med over 1200 profesjonelle kamper, flest for en utespiller, og har scoret over 850 mål i offisielle seniorkamper for klubb og landslag, noe som gjør ham til tidenes toppscorer.
186
+ """
187
+ labels = ["person", "pris", "dato", "konkurranser", "lag"]
188
+ entities = model.predict_entities(text, labels, threshold=0.5)
189
+ for entity in entities:
190
+ print(entity["text"], "=>", entity["label"])
191
+ ```
192
+
193
+ ```
194
+ Cristiano Ronaldo dos Santos Aveiro => person
195
+ 5. februar 1985 => dato
196
+ Al Nassr => lag
197
+ portugisiske landslaget => lag
198
+ Ballon d'Or-priser => pris
199
+ UEFA Årets Spiller-priser => konkurranser
200
+ Gullstøvler => konkurranser
201
+ 33 troféer => pris
202
+ syv ligatitler => pris
203
+ UEFA Champions League-titler => konkurranser
204
+ EM => konkurranser
205
+ UEFA Nations League => konkurranser
206
+ Champions League => konkurranser
207
+ EM => konkurranser
208
+ ```
209
+ </details>
210
+
211
+ <details>
212
+ <summary>Czech</summary>
213
+
214
+ ```python
215
+ from gliner import GLiNER
216
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
217
+ text = """
218
+ Cristiano Ronaldo dos Santos Aveiro (portugalská výslovnost: [kɾiʃˈtjɐnu ʁɔˈnaldu]; narozen 5. února 1985) je portugalský profesionální fotbalista, který hraje jako útočník a je kapitánem jak klubu Al Nassr v Saúdské profesionální lize, tak portugalského národního týmu. Široce považován za jednoho z nejlepších hráčů všech dob, Ronaldo získal pět ocenění Ballon d'Or, rekordní tři ocenění UEFA Hráč roku a čtyři Zlaté kopačky, což je nejvíce ze všech evropských hráčů. Ve své kariéře vyhrál 33 trofejí, včetně sedmi ligových titulů, pěti Lig mistrů UEFA, Mistrovství Evropy UEFA a Ligy národů UEFA. Ronaldo drží rekordy v počtu startů (183), gólů (140) a asistencí (42) v Lize mistrů, gólů na mistrovství Evropy (14), mezinárodních gólů (128) a mezinárodních startů (205). Je jedním z mála hráčů, kteří odehráli více než 1 200 profesionálních zápasů, což je nejvíce mezi hráči v poli, a vstřelil přes 850 oficiálních gólů na klubové a reprezentační úrovni, čímž se stal nejlepším střelcem všech dob.
219
+ """
220
+ labels = ["osoba", "ocenění", "datum", "soutěže", "týmy"]
221
+ entities = model.predict_entities(text, labels, threshold=0.5)
222
+ for entity in entities:
223
+ print(entity["text"], "=>", entity["label"])
224
+ ```
225
+
226
+ ```
227
+ Cristiano Ronaldo dos Santos Aveiro => osoba
228
+ 5. února 1985 => datum
229
+ Al Nassr => týmy
230
+ Saúdské profesionální lize => týmy
231
+ Ballon d'Or => ocenění
232
+ rekordní tři ocenění UEFA Hráč roku => ocenění
233
+ Zlaté kopačky => ocenění
234
+ 33 trofejí => ocenění
235
+ sedmi ligových titulů => ocenění
236
+ Lig mistrů UEFA => soutěže
237
+ Mistrovství Evropy UEFA => soutěže
238
+ Ligy národů UEFA => soutěže
239
+ Lize mistrů => soutěže
240
+ mistrovství Evropy => soutěže
241
+ ```
242
+ </details>
243
+
244
+ <details>
245
+ <summary>Polish</summary>
246
+
247
+ ```python
248
+ from gliner import GLiNER
249
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
250
+ text = """
251
+ Cristiano Ronaldo dos Santos Aveiro (wymowa portugalska: [kɾiʃˈtjɐnu ʁɔˈnaldu]; ur. 5 lutego 1985) to portugalski piłkarz grający na pozycji napastnika, kapitan klubu Al Nassr z saudyjskiej ligi oraz reprezentacji Portugalii. Uważany za jednego z najwybitniejszych zawodników w historii, Ronaldo zdobył pięć Złotych Piłek, rekordowe trzy nagrody UEFA dla najlepszego piłkarza roku oraz cztery Złote Buty, najwięcej wśród europejskich zawodników. W swojej karierze zdobył 33 trofea, w tym siedem tytułów mistrza ligi, pięć Lig Mistrzów UEFA, mistrzostwo Europy i Ligę Narodów UEFA. Ronaldo posiada rekordy w liczbie występów (183), goli (140) i asyst (42) w Lidze Mistrzów, bramek na Mistrzostwach Europy (14), goli międzynarodowych (128) oraz meczów międzynarodowych (205). Jest jednym z nielicznych piłkarzy z ponad 1200 oficjalnymi występami w karierze — najwięcej spośród graczy z pola — oraz zdobywcą ponad 850 goli dla klubów i reprezentacji, co czyni go najlepszym strzelcem wszech czasów.
252
+ """
253
+ labels = ["osoba", "nagroda", "data", "rozgrywki", "drużyny"]
254
+ entities = model.predict_entities(text, labels, threshold=0.5)
255
+ for entity in entities:
256
+ print(entity["text"], "=>", entity["label"])
257
+ ```
258
+
259
+ ```
260
+ Cristiano Ronaldo dos Santos Aveiro => osoba
261
+ 5 lutego 1985 => data
262
+ Al Nassr => drużyny
263
+ reprezentacji Portugalii => drużyny
264
+ Złotych Piłek => nagroda
265
+ Złote Buty => nagroda
266
+ Lig Mistrzów UEFA => rozgrywki
267
+ mistrzostwo Europy => rozgrywki
268
+ Ligę Narodów UEFA => rozgrywki
269
+ Mistrzostwach Europy => rozgrywki
270
+ ```
271
+ </details>
272
+
273
+ <details>
274
+ <summary>Lithuanian</summary>
275
+
276
+ ```python
277
+ from gliner import GLiNER
278
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
279
+ text = """
280
+ Cristiano Ronaldo dos Santos Aveiro (portugališka tarimo forma: [kɾiʃˈtjɐnu ʁɔˈnaldu]; gimė 1985 m. vasario 5 d.) yra portugalų profesionalus futbolininkas, žaidžiantis puolėjo pozicijoje ir esantis tiek Saudo Arabijos „Pro League“ klubo „Al Nassr“, tiek Portugalijos nacionalinės rinktinės kapitonas. Plačiai laikomas vienu geriausių visų laikų žaidėjų, Ronaldo yra laimėjęs penkis „Ballon d'Or“ apdovanojimus, rekordiškai tris UEFA metų žaidėjo apdovanojimus ir keturis Europos „Auksinius batelius“ – daugiausiai tarp Europos žaidėjų. Savo karjeroje jis laimėjo 33 trofėjus, įskaitant septynis lygos titulus, penkis UEFA Čempionų lygos titulus, UEFA Europos čempionatą ir UEFA Tautų lygą. Ronaldo priklauso rekordai pagal daugiausiai pasirodymų (183), įvarčių (140) ir rezultatyvių perdavimų (42) Čempionų lygoje, įvarčių Europos čempionate (14), tarptautinių įvarčių (128) ir tarptautinių pasirodymų (205). Jis yra vienas iš nedaugelio žaidėjų, sužaidusių daugiau nei 1200 profesionalių rungtynių – daugiausiai tarp aikštės žaidėjų – ir pelnęs daugiau nei 850 oficialių įvarčių klubų ir rinktinės lygiu, tapdamas rezultatyviausiu visų laikų žaidėju.
281
+ """
282
+ labels = ["asmuo", "apdovanojimas", "data", "varžybos", "komandos"]
283
+ entities = model.predict_entities(text, labels, threshold=0.5)
284
+ for entity in entities:
285
+ print(entity["text"], "=>", entity["label"])
286
+ ```
287
+
288
+ ```
289
+ Cristiano Ronaldo dos Santos Aveiro => asmuo
290
+ 1985 m. vasario 5 d. => data
291
+ Al Nassr => komandos
292
+ Ballon d'Or => apdovanojimas
293
+ UEFA metų žaidėjo apdovanojimus => apdovanojimas
294
+ Europos „Auksinius batelius => apdovanojimas
295
+ UEFA Čempionų lygos => varžybos
296
+ UEFA Europos čempionatą => varžybos
297
+ UEFA Tautų lygą => varžybos
298
+ ```
299
+ </details>
300
+
301
+ <details>
302
+ <summary>Estonian</summary>
303
+
304
+ ```python
305
+ from gliner import GLiNER
306
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
307
+ text = """
308
+ Cristiano Ronaldo dos Santos Aveiro (portugali hääldus: [kɾiʃˈtjɐnu ʁɔˈnaldu]; sündinud 5. veebruaril 1985) on Portugali elukutseline jalgpallur, kes mängib ründajana ja on kapteniks nii Saudi Araabia Pro League'i klubis Al Nassr kui ka Portugali rahvuskoondises. Teda peetakse laialdaselt üheks aegade parimaks mängijaks. Ronaldo on võitnud viis Ballon d'Or auhinda, kolm UEFA Aasta Meesmängija auhinda ning neli Euroopa Kuldset Saapa auhinda – enim Euroopa mängijate seas. Ta on oma karjääri jooksul võitnud 33 trofeed, sealhulgas seitse liigatiitlit, viis UEFA Meistrite Liigat, UEFA Euroopa meistrivõistlused ja UEFA Rahvuste Liiga. Ronaldol on Meistrite Liigas enim mänge (183), väravaid (140) ja resultatiivseid sööte (42), Euroopa meistrivõistlustel enim väravaid (14), rahvusvahelisi väravaid (128) ja rahvusvahelisi mänge (205). Ta on üks vähestest mängijatest, kes on pidanud üle 1200 ametliku mängu ning löönud üle 850 värava klubide ja koondise eest, olles kõigi aegade parim väravakütt.
309
+ """
310
+ labels = ["isik", "auhind", "kuupäev", "võistlused", "meeskonnad"]
311
+ entities = model.predict_entities(text, labels, threshold=0.5)
312
+ for entity in entities:
313
+ print(entity["text"], "=>", entity["label"])
314
+ ```
315
+
316
+ ```
317
+ Cristiano Ronaldo dos Santos Aveiro => isik
318
+ 5. veebruaril 1985 => kuupäev
319
+ Al Nassr => meeskonnad
320
+ Portugali rahvuskoondises => meeskonnad
321
+ Ballon d'Or auhinda => auhind
322
+ UEFA Aasta Meesmängija auhinda => auhind
323
+ Euroopa Kuldset Saapa auhinda => auhind
324
+ UEFA Meistrite Liigat => võistlused
325
+ UEFA Euroopa meistrivõistlused => võistlused
326
+ UEFA Rahvuste Liiga => võistlused
327
+ ```
328
+ </details>
329
+
330
+ <details>
331
+ <summary>Latvian</summary>
332
+
333
+ ```python
334
+ from gliner import GLiNER
335
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
336
+ text = """
337
+ Kristiānu Ronaldu dušu Santušu Aveiru (portugāļu izruna: [kɾiʃˈtjɐnu ʁɔˈnaldu]; dzimis 1985. gada 5. februārī) ir portugāļu profesionāls futbolists, kurš spēlē kā uzbrucējs un ir kapteinis gan Saūda Arābijas Pro līgas klubā "Al Nassr", gan Portugāles izlasē. Plaši tiek uzskatīts par vienu no visu laiku izcilākajiem spēlētājiem. Ronaldu ir ieguvis piecas Ballon d'Or balvas, rekorda trīs UEFA Gada spēlētāja balvas un četras Eiropas Zelta bučus – visvairāk starp Eiropas spēlētājiem. Viņš savas karjeras laikā ir izcīnījis 33 trofejas, tostarp septiņus līgas titulus, piecas UEFA Čempionu līgas, UEFA Eiropas čempionātu un UEFA Nāciju līgu. Ronaldu pieder rekordi pēc dalību skaita (183), vārtu guvumiem (140) un piespēlēm (42) Čempionu līgā, vārtiem Eiropas čempionātā (14), vārtiem starptautiskā līmenī (128) un spēļu skaita izlasē (205). Viņš ir viens no nedaudzajiem spēlētājiem ar vairāk nekā 1200 profesionālām spēlēm, visvairāk starp laukuma spēlētājiem, un ir guvis vairāk nekā 850 oficiālus vārtus klubos un izlasē, padarot viņu par visu laiku rezultatīvāko spēlētāju.
338
+ """
339
+ labels = ["persona", "balva", "datums", "sacensības", "komandas"]
340
+ entities = model.predict_entities(text, labels, threshold=0.5)
341
+ for entity in entities:
342
+ print(entity["text"], "=>", entity["label"])
343
+ ```
344
+
345
+ ```
346
+ Kristiānu Ronaldu => persona
347
+ Santušu Aveiru => persona
348
+ 1985. gada 5. februārī => datums
349
+ Al Nassr => komandas
350
+ Portugāles izlasē => komandas
351
+ Ballon d'Or balvas => balva
352
+ UEFA Gada spēlētāja balvas => balva
353
+ Eiropas Zelta bučus => balva
354
+ UEFA Čempionu līgas => sacensības
355
+ UEFA Eiropas čempionātu => sacensības
356
+ UEFA Nāciju līgu => sacensības
357
+ ```
358
+ </details>
359
+
360
+ <details>
361
+ <summary>Finnish</summary>
362
+
363
+ ```python
364
+ from gliner import GLiNER
365
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
366
+ text = """
367
+ Cristiano Ronaldo dos Santos Aveiro (lausutaan portugaliksi: [kɾiʃˈtjɐnu ʁɔˈnaldu]; syntynyt 5. helmikuuta 1985) on portugalilainen ammattilaisjalkapalloilija, joka pelaa hyökkääjänä ja toimii kapteenina sekä Saudi Pro League -seura Al Nassrissa että Portugalin maajoukkueessa. Häntä pidetään laajalti yhtenä kaikkien aikojen parhaista pelaajista. Ronaldo on voittanut viisi Ballon d'Or -palkintoa, ennätykselliset kolme UEFA:n Vuoden Pelaaja -palkintoa ja neljä Euroopan Kultakenkää – eniten eurooppalaispelaajista. Hän on urallaan voittanut 33 pokaalia, mukaan lukien seitsemän sarjamestaruutta, viisi UEFA Mestarien liigaa, UEFA:n Euroopan-mestaruuden ja UEFA Nations Leaguen. Ronaldo pitää hallussaan ennätyksiä Mestarien liigassa pelien (183), maalien (140) ja syöttöjen (42) määrässä, EM-kisojen maaleissa (14), maaottelumaaleissa (128) ja maaotteluiden määrässä (205). Hän on yksi harvoista pelaajista, joka on pelannut yli 1 200 ammattilaisottelua – eniten kenttäpelaajista – ja tehnyt yli 850 virallista maalia seurassa ja maajoukkueessa, mikä tekee hänestä kaikkien aikojen maalikuninkaan.
368
+ """
369
+ labels = ["henkilö", "palkinto", "päivämäärä", "kilpailut", "joukkueet"]
370
+ entities = model.predict_entities(text, labels, threshold=0.5)
371
+ for entity in entities:
372
+ print(entity["text"], "=>", entity["label"])
373
+ ```
374
+
375
+ ```
376
+ Cristiano Ronaldo dos Santos Aveiro => henkilö
377
+ 5. helmikuuta 1985 => päivämäärä
378
+ Saudi Pro League => joukkueet
379
+ Al Nassrissa => joukkueet
380
+ Portugalin maajoukkueessa => joukkueet
381
+ Ballon d'Or -palkintoa => palkinto
382
+ UEFA:n Vuoden Pelaaja -palkintoa => palkinto
383
+ Euroopan Kultakenkää => palkinto
384
+ UEFA Mestarien liigaa => kilpailut
385
+ UEFA:n Euroopan-mestaruuden => kilpailut
386
+ UEFA Nations Leaguen => kilpailut
387
+ EM-kisojen => kilpailut
388
+ ```
389
+ </details>
390
+
391
+ <details>
392
+ <summary>German</summary>
393
+
394
+ ```python
395
+ from gliner import GLiNER
396
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
397
+ text = """
398
+ Cristiano Ronaldo dos Santos Aveiro (portugiesische Aussprache: [kɾiʃˈtjɐnu ʁɔˈnaldu]; geboren am 5. Februar 1985) ist ein portugiesischer Profifußballer, der als Stürmer spielt und sowohl für den Verein Al Nassr in der Saudi Pro League als auch für die portugiesische Nationalmannschaft Kapitän ist. Allgemein gilt er als einer der größten Spieler aller Zeiten. Ronaldo hat fünf Ballon-d'Or-Auszeichnungen, einen Rekord von drei UEFA-Auszeichnungen als Spieler des Jahres und vier europäische Goldene Schuhe gewonnen – die meisten für einen europäischen Spieler. In seiner Karriere hat er 33 Trophäen gewonnen, darunter sieben Ligatitel, fünf UEFA-Champions-League-Titel, die UEFA-Europameisterschaft und die UEFA Nations League. Ronaldo hält die Rekorde für die meisten Einsätze (183), Tore (140) und Assists (42) in der Champions League, Tore bei Europameisterschaften (14), Länderspieltore (128) und Länderspieleinsätze (205). Er ist einer der wenigen Spieler, die über 1.200 Einsätze in ihrer Profikarriere absolviert haben – die meisten eines Feldspielers – und hat über 850 offizielle Tore für Verein und Land erzielt, womit er der erfolgreichste Torschütze aller Zeiten ist.
399
+ """
400
+ labels = ["person", "auszeichnung", "datum", "wettbewerbe", "teams"]
401
+ entities = model.predict_entities(text, labels, threshold=0.5)
402
+ for entity in entities:
403
+ print(entity["text"], "=>", entity["label"])
404
+ ```
405
+
406
+ ```
407
+ Cristiano Ronaldo dos Santos Aveiro => person
408
+ 5. Februar 1985 => datum
409
+ Al Nassr => teams
410
+ Saudi Pro League => wettbewerbe
411
+ portugiesische Nationalmannschaft => teams
412
+ Ballon-d'Or-Auszeichnungen => auszeichnung
413
+ UEFA-Auszeichnungen => auszeichnung
414
+ Spieler des Jahres => auszeichnung
415
+ europäische Goldene Schuhe => auszeichnung
416
+ UEFA-Champions-League-Titel => wettbewerbe
417
+ UEFA-Europameisterschaft => wettbewerbe
418
+ UEFA Nations League => wettbewerbe
419
+ ```
420
+ </details>
421
+
422
+ <details>
423
+ <summary>French</summary>
424
+
425
+ ```python
426
+ from gliner import GLiNER
427
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
428
+ text = """
429
+ Cristiano Ronaldo dos Santos Aveiro (prononciation portugaise : [kɾiʃˈtjɐnu ʁɔˈnaldu] ; né le 5 février 1985) est un footballeur professionnel portugais qui joue comme attaquant et est capitaine à la fois du club d'Al Nassr en Saudi Pro League et de l'équipe nationale du Portugal. Largement considéré comme l’un des plus grands joueurs de tous les temps, Ronaldo a remporté cinq Ballons d’Or, un record de trois prix du Joueur de l’année UEFA et quatre Souliers d’or européens, le plus grand nombre pour un joueur européen. Il a remporté 33 trophées dans sa carrière, dont sept titres de championnat, cinq Ligues des champions de l’UEFA, le Championnat d'Europe et la Ligue des nations de l’UEFA. Ronaldo détient les records du plus grand nombre d'apparitions (183), de buts (140) et de passes décisives (42) en Ligue des champions, de buts dans le Championnat d'Europe (14), de buts internationaux (128) et d'apparitions internationales (205). Il est l’un des rares joueurs à avoir disputé plus de 1 200 matchs professionnels en carrière, le plus grand nombre pour un joueur de champ, et a marqué plus de 850 buts officiels en carrière en club et en sélection, ce qui fait de lui le meilleur buteur de tous les temps.
430
+ """
431
+ labels = ["personne", "récompense", "date", "compétitions", "équipes"]
432
+ entities = model.predict_entities(text, labels, threshold=0.5)
433
+ for entity in entities:
434
+ print(entity["text"], "=>", entity["label"])
435
+ ```
436
+
437
+ ```
438
+ Cristiano Ronaldo dos Santos Aveiro => personne
439
+ 5 février 1985 => date
440
+ Al Nassr => équipes
441
+ Saudi Pro League => compétitions
442
+ équipe nationale du Portugal => équipes
443
+ Ballons d’Or => récompense
444
+ Joueur de l’année UEFA => récompense
445
+ Souliers d’or européens => récompense
446
+ Ligues des champions de l’UEFA => compétitions
447
+ Championnat d'Europe => compétitions
448
+ Ligue des nations de l’UEFA => compétitions
449
+ ```
450
+ </details>
451
+
452
+ <details>
453
+ <summary>Italian</summary>
454
+
455
+ ```python
456
+ from gliner import GLiNER
457
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
458
+ text = """
459
+ Cristiano Ronaldo dos Santos Aveiro (pronuncia portoghese: [kɾiʃˈtjɐnu ʁɔˈnaldu]; nato il 5 febbraio 1985) è un calciatore professionista portoghese che gioca come attaccante e che è capitano sia del club Al Nassr della Saudi Pro League sia della nazionale portoghese. Considerato ampiamente uno dei più grandi giocatori di tutti i tempi, Ronaldo ha vinto cinque Palloni d'Oro, un record di tre premi Giocatore dell'Anno UEFA e quattro Scarpe d'Oro europee, il numero più alto per un giocatore europeo. Ha vinto 33 trofei nella sua carriera, inclusi sette titoli di campionato, cinque Champions League UEFA, il Campionato europeo UEFA e la UEFA Nations League. Ronaldo detiene i record per il maggior numero di presenze (183), gol (140) e assist (42) in Champions League, gol nel Campionato europeo (14), gol internazionali (128) e presenze internazionali (205). È uno dei pochi giocatori ad aver superato le 1.200 presenze professionistiche in carriera, il numero più alto per un giocatore di movimento, e ha segnato oltre 850 gol ufficiali con club e nazionale, rendendolo il miglior marcatore di tutti i tempi.
460
+ """
461
+ labels = ["persona", "premio", "data", "competizioni", "squadre"]
462
+ entities = model.predict_entities(text, labels, threshold=0.5)
463
+ for entity in entities:
464
+ print(entity["text"], "=>", entity["label"])
465
+ ```
466
+
467
+ ```
468
+ Cristiano Ronaldo dos Santos Aveiro => persona
469
+ 5 febbraio 1985 => data
470
+ Al Nassr => squadre
471
+ Saudi Pro League => competizioni
472
+ Palloni d'Oro => premio
473
+ Giocatore dell'Anno UEFA => premio
474
+ Scarpe d'Oro europee => premio
475
+ Champions League UEFA => competizioni
476
+ Campionato europeo UEFA => competizioni
477
+ UEFA Nations League => competizioni
478
+ ```
479
+ </details>
480
+
481
+ <details>
482
+ <summary>Romanian</summary>
483
+
484
+ ```python
485
+ from gliner import GLiNER
486
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
487
+ text = """
488
+ Cristiano Ronaldo dos Santos Aveiro (pronunție în portugheză: [kɾiʃˈtjɐnu ʁɔˈnaldu]; născut la 5 februarie 1985) este un fotbalist profesionist portughez care joacă pe postul de atacant și este căpitan atât al clubului Al Nassr din Liga Profesionistă Saudită, cât și al echipei naționale a Portugaliei. Larg considerat unul dintre cei mai buni jucători din toate timpurile, Ronaldo a câștigat cinci premii Ballon d'Or, un record de trei premii Jucătorul Anului UEFA și patru Ghete de Aur europene, cele mai multe pentru un jucător european. A câștigat 33 de trofee în carieră, inclusiv șapte titluri de campionat, cinci Ligi ale Campionilor UEFA, Campionatul European UEFA și Liga Națiunilor UEFA. Ronaldo deține recordurile pentru cele mai multe apariții (183), goluri (140) și pase decisive (42) în Liga Campionilor, goluri în Campionatul European (14), goluri internaționale (128) și apariții internaționale (205). Este unul dintre puținii jucători care au jucat peste 1.200 de meciuri profesioniste, cele mai multe pentru un jucător de câmp, și a marcat peste 850 de goluri oficiale în carieră pentru club și țară, devenind cel mai bun marcator din toate timpurile.
489
+ """
490
+ labels = ["persoană", "premiu", "dată", "competiții", "echipe"]
491
+ entities = model.predict_entities(text, labels, threshold=0.5)
492
+ for entity in entities:
493
+ print(entity["text"], "=>", entity["label"])
494
+ ```
495
+
496
+ ```
497
+ Cristiano Ronaldo dos Santos Aveiro => persoană
498
+ 5 februarie 1985 => dată
499
+ Al Nassr => echipe
500
+ Liga Profesionistă Saudită => competiții
501
+ Ballon d'Or => premiu
502
+ Jucătorul Anului UEFA => premiu
503
+ Ghete de Aur europene => premiu
504
+ Ligi ale Campionilor UEFA => competiții
505
+ Campionatul European UEFA => competiții
506
+ Liga Națiunilor UEFA => competiții
507
+ ```
508
+ </details>
509
+
510
+ <details>
511
+ <summary>Portuguese</summary>
512
+
513
+ ```python
514
+ from gliner import GLiNER
515
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
516
+ text = """
517
+ Cristiano Ronaldo dos Santos Aveiro (pronúncia em português: [kɾiʃˈtjɐnu ʁɔˈnaldu]; nascido em 5 de fevereiro de 1985) é um futebolista profissional português que atua como atacante e é capitão tanto do clube Al Nassr da Liga Profissional Saudita quanto da seleção nacional de Portugal. Amplamente considerado um dos maiores jogadores de todos os tempos, Ronaldo conquistou cinco prêmios Ballon d'Or, um recorde de três prêmios de Jogador do Ano da UEFA e quatro Chuteiras de Ouro europeias, o maior número para um jogador europeu. Ele venceu 33 troféus em sua carreira, incluindo sete títulos de liga, cinco Ligas dos Campeões da UEFA, o Campeonato Europeu da UEFA e a Liga das Nações da UEFA. Ronaldo detém os recordes de mais aparições (183), gols (140) e assistências (42) na Liga dos Campeões, gols no Campeonato Europeu (14), gols internacionais (128) e aparições internacionais (205). Ele é um dos poucos jogadores a ter feito mais de 1.200 aparições profissionais, o maior número entre jogadores de linha, e marcou mais de 850 gols oficiais na carreira profissional por clubes e pela seleção, sendo o maior artilheiro de todos os tempos.
518
+ """
519
+ labels = ["pessoa", "prêmio", "data", "competições", "equipes"]
520
+ entities = model.predict_entities(text, labels, threshold=0.5)
521
+ for entity in entities:
522
+ print(entity["text"], "=>", entity["label"])
523
+ ```
524
+
525
+ ```
526
+ Cristiano Ronaldo dos Santos Aveiro => pessoa
527
+ 5 de fevereiro de 1985 => data
528
+ Al Nassr => equipes
529
+ Liga Profissional Saudita => competições
530
+ seleção nacional de Portugal => equipes
531
+ Ballon d'Or => prêmio
532
+ Jogador do Ano da UEFA => prêmio
533
+ Chuteiras de Ouro europeias => prêmio
534
+ Ligas dos Campeões da UEFA => competições
535
+ Campeonato Europeu da UEFA => competições
536
+ Liga das Nações da UEFA => competições
537
+ ```
538
+ </details>
539
+
540
+ <details>
541
+ <summary>Portuguese</summary>
542
+
543
+ ```python
544
+ from gliner import GLiNER
545
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
546
+ text = """
547
+ Cristiano Ronaldo dos Santos Aveiro (Portugese uitspraak: [kɾiʃˈtjɐnu ʁɔˈnaldu]; geboren op 5 februari 1985) is een Portugese professionele voetballer die als aanvaller speelt voor en aanvoerder is van zowel de Saoedische Pro League-club Al Nassr als het nationale team van Portugal. Algemeen beschouwd als een van de beste spelers aller tijden, heeft Ronaldo vijf Ballon d'Or-onderscheidingen gewonnen, een record van drie UEFA Men's Player of the Year Awards, en vier Europese Gouden Schoenen, het meeste voor een Europese speler. Hij heeft 33 trofeeën gewonnen in zijn carrière, waaronder zeven landstitels, vijf UEFA Champions Leagues, het EK en de UEFA Nations League. Ronaldo bezit de records voor de meeste optredens (183), doelpunten (140) en assists (42) in de Champions League, doelpunten op het EK (14), interlanddoelpunten (128) en interlandoptredens (205). Hij is een van de weinige spelers die meer dan 1.200 professionele wedstrijden heeft gespeeld, het meeste voor een veldspeler, en heeft meer dan 850 officiële doelpunten gescoord voor club en land, waarmee hij de topscorer aller tijden is.
548
+ """
549
+ labels = ["persoon", "onderscheiding", "datum", "competities", "teams"]
550
+ entities = model.predict_entities(text, labels, threshold=0.5)
551
+ for entity in entities:
552
+ print(entity["text"], "=>", entity["label"])
553
+ ```
554
+
555
+ ```
556
+ Cristiano Ronaldo dos Santos Aveiro => persoon
557
+ 5 februari 1985 => datum
558
+ Saoedische Pro League-club => teams
559
+ Al Nassr => teams
560
+ nationale team van Portugal => teams
561
+ Ballon d'Or-onderscheidingen => onderscheiding
562
+ UEFA Men's Player of the Year Awards => onderscheiding
563
+ Europese Gouden Schoenen => onderscheiding
564
+ UEFA Champions Leagues => competities
565
+ EK => competities
566
+ UEFA Nations League => competities
567
+ ```
568
+ </details>
569
+
570
+ ### Benchmarks
571
+ Below you can see the table with benchmarking results (F1 score) on various maltilingual named entity recognition datasets:
572
+
573
+ | Dataset | knowledgator/gliner-x-small | knowledgator/gliner-x-base | knowledgator/gliner-x-large | urchade/gliner_multi-v2.1 |
574
+ | --- | --- | --- | --- | --- |
575
+ | da_ddt | 0.7648 | 0.7635 | **0.8660** | 0.644 |
576
+ | de_pud | 0.7154 | 0.7597 | **0.7862** | 0.640 |
577
+ | en_ewt | 0.6597 | 0.6775 | **0.7549** | 0.573 |
578
+ | en_pud | 0.7399 | 0.7506 | **0.7858** | 0.628 |
579
+ | pt_bosque | 0.8273 | 0.8322 | **0.8782** | 0.739 |
580
+ | pt_pud | 0.7857 | 0.7854 | **0.8446** | 0.687 |
581
+ | sv_pud | 0.8033 | 0.8196 | **0.8638** | 0.682 |
582
+ | zh_pud | 0.5792 | 0.6152 | **0.6794** | 0.641 |
583
+
584
+
585
+ ![alt text](plot.png)
586
+ ### Join Our Discord
587
+
588
+ Connect with our community on Discord for news, support, and discussion about our models. Join [Discord](https://discord.gg/dkyeAgs9DG).