반응형 개발/NLP(Natural Language Processing)15 [논문 리뷰] OpenAI GPT-1 : Improving Language Understanding by Generative Pre-Training (1) Abstract 이 논문에서는 다양한 라벨링되지 않은 데이터로 pre-training을 시킨 후 특정 task에 맞춘 fine-tuning 과정을 거치는 단계를 가진다. 이전의 방법론들과는 달리 모델구조를 최소한으로 변화시키고 효과적인 Transfer를 얻기 위한 fine-tuning 단계에서 과제에 맞는 Input representations을 사용하였다. 다양한 실험 결과를 통해 이 접근이 다양한 과제에 대해 효과적임을 증명하였다. 이 논문에서 task에 대한 사전 지식이 없는(task-agnostic) 모델은 특정과제에 특화된 모델 성능을 뛰어넘는다. 테스트된 12개의 tasks 중 9개에서 SOTA 수준의 성능을 달성하였다. 1. Introduction 라벨링 되지 않은 raw 데이터의 텍스트에서.. 2021. 2. 3. [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Abstact BERT는 대부분의 Language Representation model들과 달리, unlabeled text를 이용하여 모든 레이어에서 양방향 문맥을 이용하여 deep bidirectional representations를 미리 학습시킨다. 그 결과, 사전 학습된 BERT는 단 하나의 레이어를 추가함으로써 다른 구조를 수정하지 않고도 파인 튜닝이 되어 많은 task에서(question answering, language inference 등) SOTA의 모델을 만들어낸다. BERT는 개념적으로 간단하지만 강력한데, 11개의 NLP tasks에서 새로운 SOTA 결과를 만들어냈다고 한다.(🤭...) GLUE score에서 기존보다 7.7% 높인 80.5%를 달성하였고, MultiNLI ac.. 2021. 1. 20. [논문 리뷰] Attention Is All You Need, Transformer 딥러닝 논문 스터디에서 제가 발표한 내용입니다. 마지막 페이지의 side benefit은 제가 부작용으로 이해를 하여 팀원들께 이해가 가지 않은 부분을 질문하다보니 부작용이 아닌 부가적인 장점을 뜻하는 것을 알게 되었습니다😂😂 마치 Black box와 같던 딥러닝 모델을 이제 어느정도 해석이 가능하다는 뜻으로 해석했는데 혹시 다른 의견이 있으신 분들은 댓글로 남겨주시면 감사하겠습니다. ㅎㅎ 2021. 1. 9. fastText란 무엇인가? 오늘은 FACEBOOK AI연구소에서 만든 텍스트 임베딩 기법 중 하나인 fastText에 대해 알아보자. 전반적으로 word2vec과 유사하나, 가장 큰 차이점은 각 단어를 character 단위 n-gram으로 쪼갠다는 것이다. 예를 들어, "eating"이라는 단어는 n=3일 때 아래와 같이 쪼개져서 표현된다. 한국어 같은 경우에는, 토마토주스를 표현한다고 하면, [토마, 토마토, 마토주, 토주스, 주스]로 표현된다. fastText또한 word2vec에서와 같이 네거티브 샘플링을 쓴다. 네거티브 샘플링에 대한 내용은 https://simonezz.tistory.com/36 Word2vec 알고리즘 리뷰 2 : Negative sampling 와 Subsampling 앞전에 리뷰한 word2vec의.. 2020. 11. 21. 이전 1 2 3 4 다음 728x90 반응형
