bert2 [NLP-6] Masking을 이용한 언어 사전 학습 모델 BERT 1. BERT 학습방식2. BERT 모델 구조3. BERT 사전학습 효과4. BERT 미세조정5. BERT 학습해보기1. BERT 학습 방식BERT 역시 GPT와 마찬가지로 NLP의 대규모 비지도 사전학습 모델의 일종입니다. 그렇기 때문에 BERT의 등장 배경이나 목적은 GPT와 유사합니다.(참고) BERT도 라벨링을 하지 않은 대규모 텍스트를 학습할 방법에 대해서 연구한 방법이죠.GPT는 문장이 주어졌을 때, 맨 앞의 단어부터 뒤까지 차례대로 예측하는 것을 학습했었죠. BERT는 masking 기법응ㄹ 이용해 텍스트를 학습합니다. Masking이란 이름 그대로, 텍스트의 일부를 가리는 것을 말합니다. 문장이 주어졌을 때, 그 문장의 일부 단어를 랜덤하게 가린 뒤, 모델에게 해당 부분에 알맞은 단어를 예.. 2024. 7. 30. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding GPT에 이어 BERT도 리뷰해 보도록 하겠습니다. 1. 개요 GPT를 통해 라벨이 존재하지 않는 대량의 텍스트로 사전 학습을 진행하는 것이 실제로 큰 도움이 된다는 것을 알 수 있었습니다. 비지도 학습을 통해 언어의 정보를 학습시키는 방법은 크게 2가지 분류로 나눌 수 있습니다. 1. feature-base : 미리 학습된 고정된 언어 임베딩 정보를 여러가지 NLP task에 적용하는 방식입니다. 대표적으로 ELMo가 여기에 속합니다. 2. fine-tuning : GPT와 같이 사전학습된 파라미터를 사용해 최소한의 모델 변형으로 fine-tuning을 하여 task에 적용하는 방식입니다. 그러나 이 2가지 방식 모두 문장을 순서대로 학습한다는 한계를 갖는다고 합니다. 예를 들어 GPT는 앞부터 뒤로 .. 2023. 3. 4. 이전 1 다음
