Model Transformer jest modelem głębokiego uczenia się, który został wprowadzony przez Vaswani et al. w 2017 roku. Jest to model, który koncentruje się na przetwarzaniu sekwencji, takich jak tekst, audio lub obrazy. Jedną z głównych zalet tego modelu jest to, że jest on w stanie obsługiwać sekwencje o zmiennej długości, co sprawia, że jest to bardzo przydatne dla wielu zadań. Model Transformer składa się z dwóch głównych komponentów: warstwy uwagi i warstwy pozycjonowania. Warstwa uwagi pozwala modelowi na zwrócenie uwagi na różne części sekwencji wejściowej, co pozwala mu nauczyć się złożonych wzorów w danych. Warstwa pozycjonowania pozwala modelowi na uwzględnienie pozycji słów w sekwencji, co jest szczególnie przydatne dla zadań takich jak automatyczne tłumaczenie. Model Transformer był bardzo udany w wielu zadaniach przetwarzania języka naturalnego, takich jak automatyczne tłumaczenie, sortowanie tekstu i tworzenie tekstu. Ponadto jego architektura została przyjęta przez wiele innych modeli głębokiego uczenia się o podobnych problemach.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence