"주의력만 있으면 된다"라는 논문에서 트랜스포머 모델을 처음 제안했고, 이는 이후 LLM에 큰 영향을 미쳤습니다. 이 논문에서 설명한 트랜스포머의 주요 핵심 아이디어를 설명해 주세요.
트랜스포머는 입력 데이터의 각 부분의 중요도에 차등적으로 가중치를 부여하는 자기 주의 메커니즘을 채택한 딥러닝 모델입니다. 주로 자연어 처리(NLP) 및 컴퓨터 비전(CV) 분야에서 사용됩니다.

순환 신경망(RNN)과 마찬가지로 트랜스포머는 자연어와 같은 순차적 입력 데이터를 처리하도록 설계되어 번역 및 텍스트 요약과 같은 작업에 적용됩니다. 하지만 RNN과 달리 트랜스포머는 전체 입력을 한 번에 처리합니다. 주의 메커니즘은 입력 시퀀스의 모든 위치에 대한 컨텍스트를 제공합니다. 예를 들어 입력 데이터가 자연어 문장인 경우, 트랜스포머는 한 번에 한 단어씩 처리할 필요가 없습니다. 따라서 RNN보다 더 많은 병렬화가 가능하므로 학습 시간이 단축됩니다.

트랜스포머는 2017년 구글 브레인 팀에 의해 도입되었으며, 점점 더 많은 자연어 처리 문제에 선택되는 모델로 자리 잡으며 LSTM(장단기 기억)과 같은 RNN 모델을 대체하고 있습니다. 추가적인 훈련 병렬화를 통해 더 큰 데이터 세트에 대한 훈련이 가능합니다. 그 결과, Wikipedia 코퍼스 및 Common Crawl과 같은 대규모 언어 데이터 세트로 학습되고 특정 작업에 맞게 미세 조정할 수 있는 BERT(양방향 인코더 표현으로부터의 트랜스포머) 및 GPT(생성형 사전 학습 트랜스포머)와 같은 사전 학습 시스템이 개발되었습니다.
이 논문은 Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia가 작성했으며 2017년에 출판되었습니다. 이 책은 후속 GPT 시리즈 모델과 BERT 시리즈 모델의 토대를 마련했습니다. GPT 모델은 트랜스포머의 디코더 부분을 사용하고, BERT 모델은 트랜스포머의 인코더 부분을 사용합니다. 트랜스포머 모델의 주요 핵심 아키텍처는 다음과 같습니다: 셀프 어텐션 메커니즘, 위치 인코딩, 인코더-디코더 아키텍처, 멀티 헤드 어텐션.
트랜스포머는 주의 메커니즘을 사용하여 기존 RNN/LSTM 모델의 어려운 병렬 문제를 효과적으로 해결합니다. 셀프 어텐션(Self-Attention)을 사용하면 NLP의 제한된 레이블 데이터 문제를 해결할 수 있습니다. 입력 텍스트의 시퀀스 정보는 위치 인코딩을 통해 보존됩니다. 또한 다중 헤드 어텐션(Multi-Head Attention)을 통해 Transformer는 CNN 모델의 채널 개념과 유사한 다양한 패턴의 훈련 데이터를 학습할 수 있습니다.
The paper "Attention is all you need" proposed the Transformer model for the first time, which had a profound impact on the subsequent LLM. Please give the main core idea of Transformer described in this paper
A transformer is a deep learning model that adopts the mechanism of self-attention, differentially weighting the significance of each part of the input data. It is used primarily in the fields of natural language processing (NLP) and computer vision (CV).

Like recurrent neural networks (RNNs), transformers are designed to process sequential input data, such as natural language, with applications towards tasks such as translation and text summarization. However, unlike RNNs, transformers process the entire input all at once. The attention mechanism provides context for any position in the input sequence. For example, if the input data is a natural language sentence, the transformer does not have to process one word at a time. This allows for more parallelization than RNNs and therefore reduces training times.

Transformers were introduced in 2017 by a team at Google Brain and are increasingly becoming the model of choice for NLP problems, replacing RNN models such as long short-term memory (LSTM). The additional training parallelization allows training on larger datasets. This led to the development of pretrained systems such as BERT (Bidirectional Encoder Representations from Transformers) and GPT (Generative Pre-trained Transformer), which were trained with large language datasets, such as the Wikipedia Corpus and Common Crawl, and can be fine-tuned for specific tasks.
This paper is by Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. and published in 2017. It laid the foundation for the subsequent GPT series of models and BERT series of models. The GPT model uses the decoder part of Transfomer, while the BERT model uses the encoder part of Transfomer. The main core architecture of the Transformer model includes: Self-Attention Mechanism, Positional Encoding, Encoder-Decoder Architecture, Multi-Head Attension.
Transformer effectively solves the difficult parallel problem of the previous RNN/LSTM model by using the Attention mechanism. Using Self-Attention solves the problem of limited labeled data in NLP. The sequence information in the input text is preserved through Positional Encoding. And Multi-Head Attention allows Transformer to learn different patterns of training data similar to Channel concept in CNN model.