ORQA1 ODQA를 위한 사전 학습 방식 : ORQA와 REALM 저번 DPR 포스트에 이어서 ODQA 해결책으로 제시된 ORQA와 REALM을 살펴보도록 하겠습니다. 둘을 함께 살펴보는 이유는 둘 다 pre-training을 사용해 ODQA문제를 해결하고자 했고, masking과 연관이 있다는 점에서 비슷하다고 느껴졌기 때문입니다. 0. ODQA ODQA(Open-Domain-Question-Answering) 문제를 다시 소개하자면, 크게 2가지의 임무를 수행해야 합니다. 광범위한 Open-domain corpus로부터 질문과 관련 있는 문서 찾기 (Retrieval) 관련 문서들로부터 정답 추출하기 (Reader) Reader의 경우 BERT를 통해 꽤 좋은 효과를 보고 있습니다. Reader는 BERT를 사용해 문서에서 정답 단어의 위치를 찾는 역할을 수행합니다.. 2023. 4. 5. 이전 1 다음
