Samonadzirano učenje
Samonadzirano učenje (engleski: Self-supervised learning – SSL) paradigma je u mašinskom učenju gdje se model obučava za zadatak koristeći same podatke za generisanje nadzornih signala, umjesto da se oslanja na vanjske oznake koje obezbjeđuju ljudi. U kontekstu neuronskih mreža, samonadzirano učenje ima za cilj da iskoristi inherentne strukture ili odnose unutar ulaznih podataka kako bi se stvorili smisleni signali za obuku. SSL zadaci su dizajnirani tako da njihovo rješavanje zahtijeva hvatanje bitnih karakteristika ili odnosa u podacima. Ulazni podaci se obično povećavaju ili transformišu na način koji kreira parove povezanih uzoraka. Jedan uzorak služi kao ulaz, a drugi se koristi za formulisanje nadzornog signala. Ovo povećanje može uključivati uvođenje šuma, izrezivanje, rotaciju ili druge transformacije. Samonadzirano učenje više imitira način na koji ljudi uče da klasifikuju objekte. Tipična SSL metoda temelji se na vještačkoj neuronskoj mreži ili drugom modelu kao što je lista odluka. Model uči u dva koraka. Prvo, zadatak se rješava na osnovu pomoćnog ili pretekstualnog zadatka klasifikacije koristeći pseudo-oznake koje pomažu da se inicijaliziraju parametri modela. Drugo, stvarni zadatak se izvodi uz nadgledano ili nenadgledano učenje. Ostali pomoćni zadaci uključuju dovršavanje šablona iz maskiranih obrazaca unosa (tihe pauze u govoru ili dijelovi slike maskirani crnom bojom). Samonadzirano učenje dalo je obećavajuće rezultate u posljednjih nekoliko godina i našlo je praktičnu primjenu u audio obradi, dok ga Facebook i drugi koriste za prepoznavanje govora.