Hayu urang mimitian ku kertas "Ngaronjatkeun Pangarti Basa ku Generative Pre-Training" diterbitkeun ku OpenAI dina Juni 2018. Ieu diwanohkeun hiji arsitéktur anyar disebut Generative Pre-trained Transformer (GPT) nu dipaké learning non-supervised tinimbang learning supervised. Dina istilah basajan nu hartina arsitéktur GPT bisa saukur dilatih dina téks scraped kaluar tina internet sarta teu merlukeun manusa pikeun nyieun sét data pikeun latihan. Dina tingkat dasar hiji GPTAI neuteup kana téks nu datang nepi ka ayeuna sarta lajeng ngaduga nu bakal datang salajengna. Dina Pébruari 2019 OpenAI dileupaskeun GPT-2, hiji sumber kabuka GPT anu bisa ngahasilkeun téks nu (dina waktu éta dianggap pisan alus. Saterusna OpenAI organisasi transisi ti non-profit pikeun bisnis pikeun ngumpulkeun duit. Diantara nu sejenna, Microsoft
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence