{"conversations": [{"from": "user", "value": "\u00c9s veritat que en BERT encara \u00e9s l'estat de l'art de les models ling\u00fc\u00edstiques?"}, {"from": "assistant", "value": "Anteriorment l' estat de l' art per a les plantilles ling\u00fc\u00edstiques de la NLP eren les plantilles RNN que processen les paraules en seq\u00fc\u00e8ncia, en l' ordre en qu\u00e8 apareixen en el context, una paraula a la vegada. Per tant, aquestes plantilles s\u00f3n dif\u00edcils de paral\u00b7 lelitzar i els pobres en mantenir les relacions de context a trav\u00e9s de l' entrada llarga del text que, en el context de la NLP, \u00e9s molt important. El transformer, un model introdu\u00eft al 2017, evitant aquests problemes. Els transformadors usen un mecanisme d' atenci\u00f3 que \"premeu\" a les paraules m\u00e9s \u00fatils per a predir la seg\u00fcent frase. Amb aquests mecanismes d' atenci\u00f3, els Transformers processen una seq\u00fc\u00e8ncia d' entrada de paraules i totes les depend\u00e8ncies entre paraules, independentment de les paraules que apareixen entre les paraules. Els patrons s\u00f3n molt m\u00e9s grans, per\u00f2 que s\u00f3n molt m\u00e9s grans, poden usar- se' n' s' han d' usar avui en una gran velocitat. Els models de tra\u00e7at, per\u00f2 que es poden utilitzar per abordar l' arquitectura de manera molt m\u00e9s grans, per\u00f2 que es poden utilitzar per abuficipareixen actualment en una gran velocitats d' usar per resoldre la majoria de les pistes de dades que tenen moltes m\u00e9s grans, per\u00f2 que es poden usar per resoldre la velocitats d' arquitectura de paraules."}]}