Implementasi perhatian dina transformator visi jeung transformator basa béda kusabab sipat data input atawa struktur modél. Dina transformator basa, data input diwangun ku sékmen token, kayaning kecap atawa subwords, nu diolah ku modél hiji dina hiji waktu. Mékanisme perhatian dina transformator basa dirancang pikeun attend ka bagian nu béda tina sékmen input guna nimba hubungan nu bermakna antara token. sékmen input biasana dibagi kana sababaraha segmen atawa "heads", sarta unggal sirah ngitung hiji set bobot perhatian dumasar kana hubungan antara token dina sékmen éta. Kaluaran tina head béda lajeng disambungkeun jeung dirobah linear pikeun ngahasilkeun output perhatian ahir. Dina transformator basa, data input diwangun ku gambar nu digambarkeun salaku sékmen 2D, nu dihasilkeun ku pola pamariksaan jeung data dihasilkeun ku bagian-bagian tina sistem visual.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence