리뷰 예정 논문 목록

리뷰 예정 논문 목록

review coming soon

리뷰 할 예정인 논문들을 정리해놓은 페이지입니다.
SimCSE ◀️ Simple Contrastive learning of Sentence Embedding

SimCSE ◀️ Simple Contrastive learning of Sentence Embedding

sentence embedding contrastive learning review

이번 포스팅은 EMNLP2021에 발표된 contrastive learning을 적용한 sentence embedding 방법론을 소개하려 한다.
Electra ◀️ Pre-training Text Encoders as Discriminators Rather Than Generators

Electra ◀️ Pre-training Text Encoders as Discriminators Rather Than Generators

electra review

효율적으로 토큰 교체를 분류하는 인코더를 학습하는 방법 Electra를 소개합니다.
Poly-encoders ◀️ Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring

Poly-encoders ◀️ Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring

sentence embedding poly-encoder review

cross-encoder와 bi-encoder 그 사이 어딘가....
Attention ◀️ Neural Machine Translation by Jointly Learning to Align and Translate

Attention ◀️ Neural Machine Translation by Jointly Learning to Align and Translate

Attention review

2015년 ICLR에서 등장한 논문으로써 처음 번역 분야에 Attention 개념을 사용한 논문으로 알려져있다. 딥린이의 필수 관문이라고 생각하기에 리뷰를 시작하려 한다.
Transformer ◀️ Attention is all you need

Transformer ◀️ Attention is all you need

transformer review

이번 포스팅은 최근 2년간의 NLP task에서 SOTA를 기록했던 모델들의 모태가 되는 Transformer(NIPS 2017)에 대한 논문을 리뷰하려 한다.