Transformer (masinõpe)
Transformer on süvaõppe mudel, mis kasutab sisemise tähelepanu mehhanismi, et differentsiaalselt kaaluda eraldi kõigi sisendandmete osatähtsust kontekstis kõigi teiste sisendandmetega. Seda kasutatakse peamiselt keeletehnoloogias ja arvutinägemises. Transformeri arhitektuuri pakkusid välja 2017. aastal Google Brain uurimisrühm artiklis "Attention Is All You Need". Nende peamine avastus seisnes selles, et lihtne närvivõrk, mis jätab ära rekurrentsuse ja konvulatsioonid ning kasutab nende asemel ainult sisemise tähelepanu mehhanisme, saab masintõlke ülesannetel paremaid tulemusi ning on rohkem paralleliseeritav, mis vähendab treenimisele kuluvat aega.