LM1 [NLP-5] GPT: Generative Pretrained Transformer 0. Intro1. GPT 1.1. GPT 학습 1.2. GPT 모델구조 1.3. GPT 사전학습의 효과2. GPT로 챗봇 학습해보기 2.1. 데이터 전처리 2.2. 모델 학습 2.3. 결과 확인0. Intro앞서 attention 레이어에 대해 자세히 살펴보고 transformer 모델에 대해 간단히 언급하고 넘어갔습니다.Attention 레이어가 rnn 레이어에 비해 갖는 장점은 아래와 같습니다. 순차적으로 계산되던 rnn과 달리 시퀀스를 병렬적으로 처리하여 시간을 줄일 수 있다.문장의 길이가 길어지더라도 기울기 소실 문제가 발생하지 않는다.이 2개의 장점 중에서도 특히 첫번째 장점이 미치는 영향이 컸습니다. 이 장점으로 인해 대규모의 텍스트 데이터를 사전학습하는 것이.. 2024. 7. 21. 이전 1 다음
