본문 바로가기

분류 전체보기68

ColBERT: Efficient and effective passage search via contextualized late interaction over BERT 1. 개요 ODQA(Open Domain Question Answering)와 기존의 해결방식 Open Domain Question Answering은 질문이 주어졌을 때, 해당 질문의 답을 포함하는 문서를 대량의 문서집합으로부터 찾아서, 해당 문서에서 질문에 알맞은 답을 추출해내는 task입니다. 이 논문이 출시되었을 당시엔 BERT를 활용한 방식이 SOTA를 달성한 상태였습니다. 그러나 BERT를 사용하는 방식은 기존 방식들에 비해 너무 느리다는 문제가 있었습니다. BERT 방식이 기존 방식들보다 느린 이유는 질문과 관련 있는 문서를 찾는 방식에 있습니다. BERT는 질문과 문서 사이의 관련도(유사도)를 측정하기 위해 아래와 같은 과정을 거칩니다. 질문(Query)과 문서(Document)를 하나의 .. 2023. 4. 27.
[딥러닝 기초] 일단 만들어보기 안녕하세요. 딥러닝 기초 강의 포스팅을 시작해 보겠습니다. 제가 생각했을 때 뭐든 처음 시작할 때는 일단 흥미를 붙이는 것이 가장 중요하다고 생각됩니다. 그렇기 때문에 우선 직접 코드를 작성해보고, 학습을 수행해 보고, 결과를 눈으로 확인하는 것으로 시작하고자 합니다. Colab 실습은 우선 colab으로 시작하고자 합니다. colab은 인터넷 브라우저에서 python 스크립트를 작성하고 실행할 수 있도록 해주는 사이트입니다. 딥러닝을 하기 위해선 gpu도 필요하고, gpu 사용을 위한 환경설정도 필요하고, 가상 환경 설정도 해야 하고.. 미리 준비해야 하는 것이 많고 복잡합니다. Colab은 이런 설정들이 미리 되어 있는 컴퓨터의 서버를 빌리는 겁니다. 이런 복잡한 준비 절차들을 생략할 수 있고, 누구.. 2023. 4. 24.
[딥러닝 기초] 딥러닝 기초 내용 포스팅의 목표 안녕하세요 제가 아는 지식을 이용해 딥러닝 기초부터 시작하는 글을 포스팅 해보려 합니다. 제가 그동안 딥러닝을 공부하면서 느낀 점은 다음과 같습니다. 기초 강의는 많지만 그 이후에 대한 강의가 부족함. (기초는 알겠는데 그 이후에 뭘 해야 할지를 모름) 논문 리뷰, 코드 리뷰 등 다양한 주제로 좋은 글들이 블로그 포스팅 형태로 많지만 초보자 입장에선 해당 주제의 키워드를 모른다면 해당 내용을 알 수가 없음. 블로그 글을 들어가 보면 설명이라기 보다는 자신이 공부한 내용을 기록한 경우가 많음. 물론 잘 설명하는 블로그도 있고 책도 있겠지만 개인적으로 느끼기엔 아직 그런 컨텐츠가 부족하다고 느껴져서 조금이라도 이런 부분에 이바지하고자 기초부터 블로그 포스팅을 시작해 보고자 합니다. 제 목표는 다음과 같습니다.. 2023. 4. 24.
Poly-encoders: architectures and pre-training strategies for fast and accurate multi-sentence scoring 1. 배경 소개 NLP에는 2개의 시퀀스를 서로 비교하고 분석해야하는 종류의 task가 있습니다. 예를 들면 NLI나 ODQA와 같은 task가 있겠습니다. NLI는 두 문장의 관계를 '관계 있음', '관계 없음', '상반됨' 3가지로 분류하는 task이고, QA는 질문이 주어졌을 때, 질문에 대한 답을 추론하는데 도움이 될만한 관련 문서를 찾고, 그 문서로부터 질문에 대한 답을 추출해야 하는 task입니다. "사형제도는 폐지되어야 합니다." - "사형제도를 지지하는 것은 옳지 않습니다." 분류 : '관계 있음' 관련 문서 1. "63빌딩 혹은 63 스퀘어는 대한민국 서울특별시 영등포구 여의도동에 있는 마천루이다. 이전 명칭은 한화 63시티이고 지상높이는 249m(해발 264m)이다." 2. "인종은 제.. 2023. 4. 20.
BART: Denoising Sequence-toSequence Pre-training for Natural Language Generation, Translation, and Comprehension 본 포스트는 BART(https://arxiv.org/pdf/1910.13461.pdf)논문의 리뷰입니다.1. 간단 소개지금까지 transformer를 활용한 구조로써 GPT와 BERT를 알아 봤었습니다. BERT는 transformer의 양방향 인코더를 활용해 "[MASK]"로 가려진 텍스트를 추측하는 방식으로 학습했고, GPT는 transformer의 단방향 디코더를 활용해 다음 텍스트 토큰을 예측하는 방식으로 학습됩니다. 이에 자연스럽게 BERT는 문장 전체의 의미를 유추하고 이를 분류하는 데에 특화되고, GPT는 다음 텍스트를 생성하는 데에 특화되었습니다.그렇지만 이 2가지 장점을 모두 합칠 수는 없을까? 해서 등장한 게 BART입니다. BART는 BERT+GPT입니다. 다르게 말하면 transf.. 2023. 4. 13.
ODQA를 위한 사전 학습 방식 : ORQA와 REALM 저번 DPR 포스트에 이어서 ODQA 해결책으로 제시된 ORQA와 REALM을 살펴보도록 하겠습니다. 둘을 함께 살펴보는 이유는 둘 다 pre-training을 사용해 ODQA문제를 해결하고자 했고, masking과 연관이 있다는 점에서 비슷하다고 느껴졌기 때문입니다. 0. ODQA ODQA(Open-Domain-Question-Answering) 문제를 다시 소개하자면, 크게 2가지의 임무를 수행해야 합니다. 광범위한 Open-domain corpus로부터 질문과 관련 있는 문서 찾기 (Retrieval) 관련 문서들로부터 정답 추출하기 (Reader) Reader의 경우 BERT를 통해 꽤 좋은 효과를 보고 있습니다. Reader는 BERT를 사용해 문서에서 정답 단어의 위치를 찾는 역할을 수행합니다.. 2023. 4. 5.

티스토리툴바