반응형 인공지능6 BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 2 ( Transformer, Attention) 해당 글은 이 글, 그리고 한국어 임베딩 책(by 이기창님)을 참고하여 작성하였음을 미리 알려드립니다. 4. 어텐션 메커니즘 2) 기존 모델과 비교 CNN과 비교해보면 CNN은 일정 window만큼만 단어들을 보기 때문에 문장 전체에서의 연결성이 떨어진다. 즉, 길이가 긴 문장에서 첫번째 단어와 마지막쪽 단어간의 연관성을 파악하기가 어렵다. RNN과 비교해보면 이전 포스트에서 언급했듯이 그래디언트 배니싱(Gradient Vanishing)문제가 일어날 가능성이 있다. 첫번째 단점을 어텐션은 문장의 모든 단어들을 weighted 로 고려한다는 점에서 극복하였고, 두번째 단점은 앞서 scaled dot-product attention에서 key 행렬 차원수의 제곱근으로 나눠 scale함으로써 극복하였다. (.. 2020. 11. 14. Word2vec 알고리즘 리뷰 3 : 네이버 영화 리뷰 데이터를 이용한 실습 네이버 영화 리뷰 dataset 출처 : https://github.com/e9t/nsmc/ 저번 포스팅에서 대략적인 Word2Vec 이론을 다뤘으니 실습을 해보도록 하자. In [ ]: # import matplotlib as mpl # import matplotlib.pyplot as plt # %config InlineBackend.figure_format = 'retina' # !apt -qq -y install fonts-nanum # import matplotlib.font_manager as fm # fontpath = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf' # plt.rc('font', family='NanumBarunGothic'.. 2020. 5. 30. Word2vec 알고리즘 리뷰 2 : Negative sampling 와 Subsampling 앞전에 리뷰한 word2vec의 기본적인 내용 (CBOW, skip-gram)에서 https://simonezz.tistory.com/35 Word2vec 알고리즘 리뷰 1 : CBOW 와 Skip-gram https://simonezz.tistory.com/34 추천시스템 Recommender System 정리 코드만 짜고 하다보니 전체적인 그림이 자꾸 잊혀지는 것 같아 한 번 정리를 쭉 해보고자 한다. 참고 추천시스템이란? 사용자의 interest를. simonezz.tistory.com 우리는 Input이 one-hot encoding임을 이용하여 Input layer->Hidden layer의 파라미터인 W의 각 행이각 단어의 embedded vector라 했었다. 즉 나머지의 값은 0이고 한 인.. 2020. 5. 28. Word2vec 알고리즘 리뷰 1 : CBOW 와 Skip-gram https://simonezz.tistory.com/34 추천시스템 Recommender System 정리 코드만 짜고 하다보니 전체적인 그림이 자꾸 잊혀지는 것 같아 한 번 정리를 쭉 해보고자 한다. 참고 추천시스템이란? 사용자의 interest를 예측해서 흥미로워할 만한 상품을 추천해주는 것. 추천� simonezz.tistory.com 위의 포스팅에서 협업 필터링 시스템은 fully connected 방법이나 Item2vec 방법을 사용한다고 했는데, Item2vec은 word2vec의 아이디어를 사용한 알고리즘이므로 word2vec에 대해 알아보자. 참고자료 Word2vec의 주요 아이디어는 "비슷한 분포를 가진 단어라면 비슷한 의미를 가질 것이다."이다. 즉, 자주 같이 등장할수록 두 단어는 비.. 2020. 5. 28. 이전 1 2 다음 728x90 반응형
