Implementasi perhatian dina transformator visi jeung transformator basa béda utamana dina tipe input nu mékanisme perhatian dilarapkeun ka. Dina transformator basa, perhatian biasana dilarapkeun ka runtuyan embeddings kecap nu ngagambarkeun kalimat atawa dokumén. vektor query diarahkeun ti posisi ayeuna dina runtuyan, sarta konci jeung nilai vektor diarahkeun ti sadaya posisi dina runtuyan. mékanisme perhatian ngamungkinkeun model pikeun attend ka bagian béda tina runtuyan input, sarta geus kabuktian jadi utamana éféktif pikeun tugas kayaning tarjamahan mesin jeung modél basa. Di kontras, dina transformator basa, perhatian biasana dilarapkeun ka grid patches nu ngagambarkeun gambar. vektor query diarahkeun ti unggal patch, sarta konci jeung nilai vektor diarahkeun ti sadaya patches dina runtuyan. perhatian ieu ngamungkinkeun pikeun hadir dina rasio jeung wewengkon béda tina urutan input, sarta pamadegan
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence