Veliki jezički modeli
Veliki jezički model (engleski: large language model - LLM) jest jezički model koji se sastoji od neuronske mreže s mnogo parametara obučene na velikim količinama neoznačenog teksta upotrebom samonadziranog učenja. Pojavili su se oko 2018. i pokazali su se uspješnim u raznim zadaćama. Njihov uspjeh promijenio je fokus istraživanja obrade prirodnog jezika, od prethodne paradigme obučavanja specijaliziranih nadziranih modela za određene zadatke. Iako pojam "veliki jezički model" nema formalnu definiciju, općenito se odnosi na modele dubokog učenja koji imaju broj parametara veličine milijardi ili više. Ovi opći modeli se izvrsno snalaze u širokom rasponu zadataka, za razliku od treniranja za jedan specifičan zadatak (kao što su analiza sentimenta, prepoznavanje imenovanih entiteta ili matematičko zaključivanje). Iako su trenirani na jednostavnim zadacima poput predviđanja sljedeće riječi u rečenici, neuronski jezični modeli s dovoljno treniranja i broja parametara pokazuju se sposobni za razumijevanje velikog dijela sintakse i semantike ljudskog jezika. Osim toga, veliki jezički modeli pokazuju značajno opće znanje i sposobni su "zapamtiti" veliku količinu činjenica tokom treninga.