pre-training2 [딥러닝 기초] 전이 학습 (Transfer learning) 1. 전이 학습 2. ImageNet 3. 레이어 동결 4. 사전학습 모델 선택하기 5. 모델 저장과 불러오기 5.1. PyTorch 5.2. Tensorflow 1. 전이 학습 (Transfer learning) 성능 좋은 딥러닝 모델을 만드는 데는 많은 데이터와 그 데이터를 감당할 만한 큰 모델을 필요로 합니다. 그러나 대부분의 일반인들이 이 많은 데이터와 모델을 학습시키기에는 컴퓨터 성능이 부족할 겁니다. 설령 컴퓨터 성능이 받쳐준다고 할지라도, 그 많은 데이터를 학습 시키는데 시간이 너무 오래 걸립니다. 딥러닝 모델을 만들 때마다 이 만큼의 자원과 시간을 소모하는 것은 매우 힘든 일이겠죠. 그래서 이렇게 큰 시간을 들여서 미리 학습한 모델을 가져다 쓸 수는 없을까 하는 생각을 하게 됩니다. 이렇게.. 2023. 6. 19. ODQA를 위한 사전 학습 방식 : ORQA와 REALM 저번 DPR 포스트에 이어서 ODQA 해결책으로 제시된 ORQA와 REALM을 살펴보도록 하겠습니다. 둘을 함께 살펴보는 이유는 둘 다 pre-training을 사용해 ODQA문제를 해결하고자 했고, masking과 연관이 있다는 점에서 비슷하다고 느껴졌기 때문입니다. 0. ODQA ODQA(Open-Domain-Question-Answering) 문제를 다시 소개하자면, 크게 2가지의 임무를 수행해야 합니다. 광범위한 Open-domain corpus로부터 질문과 관련 있는 문서 찾기 (Retrieval) 관련 문서들로부터 정답 추출하기 (Reader) Reader의 경우 BERT를 통해 꽤 좋은 효과를 보고 있습니다. Reader는 BERT를 사용해 문서에서 정답 단어의 위치를 찾는 역할을 수행합니다.. 2023. 4. 5. 이전 1 다음
