ai4 [논문 리뷰] OpenAI GPT-1 : Improving Language Understanding by Generative Pre-Training (1) Abstract 이 논문에서는 다양한 라벨링되지 않은 데이터로 pre-training을 시킨 후 특정 task에 맞춘 fine-tuning 과정을 거치는 단계를 가진다. 이전의 방법론들과는 달리 모델구조를 최소한으로 변화시키고 효과적인 Transfer를 얻기 위한 fine-tuning 단계에서 과제에 맞는 Input representations을 사용하였다. 다양한 실험 결과를 통해 이 접근이 다양한 과제에 대해 효과적임을 증명하였다. 이 논문에서 task에 대한 사전 지식이 없는(task-agnostic) 모델은 특정과제에 특화된 모델 성능을 뛰어넘는다. 테스트된 12개의 tasks 중 9개에서 SOTA 수준의 성능을 달성하였다. 1. Introduction 라벨링 되지 않은 raw 데이터의 텍스트에서.. 2021. 2. 3. 추천시스템 Collaborative Filtering - Model based approach 앞전에도 썼듯이 추천시스템 중 Collaborative Filtering은 Memory-based와 Model-based로 나뉜다. 다시 한번 내용을 훑으려면, https://simonezz.tistory.com/34 추천시스템 Recommender System 정리 코드만 짜고 하다보니 전체적인 그림이 자꾸 잊혀지는 것 같아 한 번 정리를 쭉 해보고자 한다. 참고 추천시스템이란? 사용자의 interest를 예측해서 흥미로워할 만한 상품을 추천해주는 것. 추천� simonezz.tistory.com 나누는 기준은 parametric maching learning을 사용하는 방법은 Model-based라 할 수 있다. 즉 Gradient Descent와 같은 Optimization방법으로 parameter.. 2020. 5. 31. Word2vec 알고리즘 리뷰 2 : Negative sampling 와 Subsampling 앞전에 리뷰한 word2vec의 기본적인 내용 (CBOW, skip-gram)에서 https://simonezz.tistory.com/35 Word2vec 알고리즘 리뷰 1 : CBOW 와 Skip-gram https://simonezz.tistory.com/34 추천시스템 Recommender System 정리 코드만 짜고 하다보니 전체적인 그림이 자꾸 잊혀지는 것 같아 한 번 정리를 쭉 해보고자 한다. 참고 추천시스템이란? 사용자의 interest를. simonezz.tistory.com 우리는 Input이 one-hot encoding임을 이용하여 Input layer->Hidden layer의 파라미터인 W의 각 행이각 단어의 embedded vector라 했었다. 즉 나머지의 값은 0이고 한 인.. 2020. 5. 28. Word2vec 알고리즘 리뷰 1 : CBOW 와 Skip-gram https://simonezz.tistory.com/34 추천시스템 Recommender System 정리 코드만 짜고 하다보니 전체적인 그림이 자꾸 잊혀지는 것 같아 한 번 정리를 쭉 해보고자 한다. 참고 추천시스템이란? 사용자의 interest를 예측해서 흥미로워할 만한 상품을 추천해주는 것. 추천� simonezz.tistory.com 위의 포스팅에서 협업 필터링 시스템은 fully connected 방법이나 Item2vec 방법을 사용한다고 했는데, Item2vec은 word2vec의 아이디어를 사용한 알고리즘이므로 word2vec에 대해 알아보자. 참고자료 Word2vec의 주요 아이디어는 "비슷한 분포를 가진 단어라면 비슷한 의미를 가질 것이다."이다. 즉, 자주 같이 등장할수록 두 단어는 비.. 2020. 5. 28. 이전 1 다음 728x90
