Transformer visi ngolah gambar ngagunakeun runtuyan lapisan perhatian diri. Sateuacan ngolah, gambar dibagi kana patch ukuran tetep anu henteu tumpang tindih (contona, 16x16 piksel), anu teras dilebetkeun sacara linier kana perwakilan vektor kontinyu. Véktor anu dilebetkeun ieu teras diolah ngalangkungan lapisan transformator. Panjang vektor anu dilebetkeun biasana ditangtukeun ku desain transformator visi sareng ukuran patch gambar input. Transformator visi umum sapertos ViT (Vision Transformer) ku Google nganggo ukuran vektor anu dilebetkeun 768 atanapi 1024 dimensi. Vérasi transformator visi sanés, sapertos DeiT (Data-efficient Image Transformer), ogé ukuran anu sami. Nanging, panjang vektor anu dilebetkeun tiasa béda-béda gumantung kana desain transformator visi sareng kinerja anu dipikahoyong sareng ukuran perdagangan antara ukuran sareng ukuran, tapi ukuran anu ditingkatkeun tina ukuran sareng ukuran paménta tiasa
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence