딥러닝 논문리뷰25 Approximate nearest neighbor Negative Contrastive Learning for Dense Text Retrieval 1. Introduction 구글, 네이버 등에 검색을 하면 관련된 블로그, 카페, 위키 페이지가 검색 결과로 나옵니다. 이런 것들을 가능케 하는 것이 retrieval입니다. Retrieval는 텍스트가 입력되었을 때 해당 텍스트와 관련 있는 내용의 문서들을 찾는 모델입니다. 이런 retrieval에는 보통 겹치는 단어를 기반으로 탐색하는 sparse retrieval가 많이 사용되었습니다. 이는 입력 텍스트에 있는 단어가 가장 많이 쓰인 문서를 관련 문서로 선택하는 방법입니다. 그러나 이 sparse retrieval는 겹치는 단어를 보는 방식 때문에 겹치는 단어가 존재하지 않는 관련 문서는 찾아올 수 없는 태생적인 한계를 갖고 있습니다. 그래서 연구된 방식이 딥러닝을 활용한 dense retriev.. 2023. 5. 5. ColBERT: Efficient and effective passage search via contextualized late interaction over BERT 1. 개요 ODQA(Open Domain Question Answering)와 기존의 해결방식 Open Domain Question Answering은 질문이 주어졌을 때, 해당 질문의 답을 포함하는 문서를 대량의 문서집합으로부터 찾아서, 해당 문서에서 질문에 알맞은 답을 추출해내는 task입니다. 이 논문이 출시되었을 당시엔 BERT를 활용한 방식이 SOTA를 달성한 상태였습니다. 그러나 BERT를 사용하는 방식은 기존 방식들에 비해 너무 느리다는 문제가 있었습니다. BERT 방식이 기존 방식들보다 느린 이유는 질문과 관련 있는 문서를 찾는 방식에 있습니다. BERT는 질문과 문서 사이의 관련도(유사도)를 측정하기 위해 아래와 같은 과정을 거칩니다. 질문(Query)과 문서(Document)를 하나의 .. 2023. 4. 27. Poly-encoders: architectures and pre-training strategies for fast and accurate multi-sentence scoring 1. 배경 소개 NLP에는 2개의 시퀀스를 서로 비교하고 분석해야하는 종류의 task가 있습니다. 예를 들면 NLI나 ODQA와 같은 task가 있겠습니다. NLI는 두 문장의 관계를 '관계 있음', '관계 없음', '상반됨' 3가지로 분류하는 task이고, QA는 질문이 주어졌을 때, 질문에 대한 답을 추론하는데 도움이 될만한 관련 문서를 찾고, 그 문서로부터 질문에 대한 답을 추출해야 하는 task입니다. "사형제도는 폐지되어야 합니다." - "사형제도를 지지하는 것은 옳지 않습니다." 분류 : '관계 있음' 관련 문서 1. "63빌딩 혹은 63 스퀘어는 대한민국 서울특별시 영등포구 여의도동에 있는 마천루이다. 이전 명칭은 한화 63시티이고 지상높이는 249m(해발 264m)이다." 2. "인종은 제.. 2023. 4. 20. BART: Denoising Sequence-toSequence Pre-training for Natural Language Generation, Translation, and Comprehension 본 포스트는 BART(https://arxiv.org/pdf/1910.13461.pdf)논문의 리뷰입니다.1. 간단 소개지금까지 transformer를 활용한 구조로써 GPT와 BERT를 알아 봤었습니다. BERT는 transformer의 양방향 인코더를 활용해 "[MASK]"로 가려진 텍스트를 추측하는 방식으로 학습했고, GPT는 transformer의 단방향 디코더를 활용해 다음 텍스트 토큰을 예측하는 방식으로 학습됩니다. 이에 자연스럽게 BERT는 문장 전체의 의미를 유추하고 이를 분류하는 데에 특화되고, GPT는 다음 텍스트를 생성하는 데에 특화되었습니다.그렇지만 이 2가지 장점을 모두 합칠 수는 없을까? 해서 등장한 게 BART입니다. BART는 BERT+GPT입니다. 다르게 말하면 transf.. 2023. 4. 13. ODQA를 위한 사전 학습 방식 : ORQA와 REALM 저번 DPR 포스트에 이어서 ODQA 해결책으로 제시된 ORQA와 REALM을 살펴보도록 하겠습니다. 둘을 함께 살펴보는 이유는 둘 다 pre-training을 사용해 ODQA문제를 해결하고자 했고, masking과 연관이 있다는 점에서 비슷하다고 느껴졌기 때문입니다. 0. ODQA ODQA(Open-Domain-Question-Answering) 문제를 다시 소개하자면, 크게 2가지의 임무를 수행해야 합니다. 광범위한 Open-domain corpus로부터 질문과 관련 있는 문서 찾기 (Retrieval) 관련 문서들로부터 정답 추출하기 (Reader) Reader의 경우 BERT를 통해 꽤 좋은 효과를 보고 있습니다. Reader는 BERT를 사용해 문서에서 정답 단어의 위치를 찾는 역할을 수행합니다.. 2023. 4. 5. Dense Passage Retrieval for Open-Domain Question Answering 배경 Open-Domain Question Answering QA 문제는 질문에 대한 답을 내는 과제입니다. 일반적으로 질문이 주어지면, 정답이 포함된 passage를 보고 거기서 정답을 찾아내는 방식을 사용합니다. Open-Domain Question Answering은 좀 더 어려운 과제로, 정답이 포함된 passage를 제시해주지 않습니다. 모델이 직접 정답과 관련된 passage를 찾아서 정답을 내야 합니다. Open-Domain 예시로 KorQuAD를 살펴보겠습니다. KorQuAD는 10만여개의 wikipedia 문서와 약 5만개의 질문-답변 쌍으로 이루어진 데이터셋입니다. 이 과제를 해결하는 방법은, 1) wikipedia 문서들 중에서 질문과 관련 있는 문서를 찾은 뒤(retrieval), .. 2023. 3. 30. 이전 1 2 3 4 5 다음
