Transformer nyaéta hiji jenis arsitéktur jaringan saraf anu dipaké pikeun ngolah data sékuénsial, sapertos basa atanapi pidato. Inovasi konci arsitéktur transformator nyaéta mékanisme perhatian na, anu ngamungkinkeun modél pikeun fokus kana bagian anu béda tina sékmen input sareng beuratna saluyu nalika ngadamel prediksi. Mékanisme perhatian beroperasi dumasar kana prinsip yén henteu sadaya bagian sékmen input anu saimbang penting pikeun ngadamel prediksi. Contona, nalika narjamahkeun kalimat tina hiji basa ka basa sanés, modél tiasa kedah ngurus subjek kalimat, kecap kerja, sareng obyék pikeun ngahasilkeun tarjamahan anu leres. Mékanisme perhatian ngamungkinkeun modél pikeun fokus kana bagian anu paling penting tina input, tibatan kedah ngolah sékmen sadayana dina cara anu tetep. Transformers parantos ditingalikeun janten épéktip pisan dina sababaraha kagiatan panganyarna, basa, téks sareng pangakuan
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence