반응형 DeepLearning8 Graph Neural Network(GNN) 란? - 1 현재 Neural Network는 structured 데이터에 관해 일부 분야에서 인간보다 더 잘 판단하고 추론한다고해도 과언이 아니다. 2012년이후 폭발적으로 관심을 받고 수많은 논문과 기술들이 나오면서 엄청난 정확도를 보이고 있다. Structured 데이터의 예시로는 이미지, 텍스트, 음성신호등이 있다. 이미지는 픽셀값으로 matrix형태로 나타낼 수 있고, 텍스트또한 일정한 문자를 사용한 데이터로 임베딩을 통해 유클리디안 공간에서 표현이 가능하다. 그렇다면 unstructured 데이터에 관해서는 어떨까? 대표적으로 소셜 네트워크에서 유저들 사이의 관계는 꽤나 추상적인 개념이기에 사회적 관계망을 설명할 때 그래프는 필수적이다. Graph Neural Network도 내 생각과는 다르게 꽤 오래전.. 2020. 12. 26. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 2 ( Transformer, Attention) 해당 글은 이 글, 그리고 한국어 임베딩 책(by 이기창님)을 참고하여 작성하였음을 미리 알려드립니다. 4. 어텐션 메커니즘 2) 기존 모델과 비교 CNN과 비교해보면 CNN은 일정 window만큼만 단어들을 보기 때문에 문장 전체에서의 연결성이 떨어진다. 즉, 길이가 긴 문장에서 첫번째 단어와 마지막쪽 단어간의 연관성을 파악하기가 어렵다. RNN과 비교해보면 이전 포스트에서 언급했듯이 그래디언트 배니싱(Gradient Vanishing)문제가 일어날 가능성이 있다. 첫번째 단점을 어텐션은 문장의 모든 단어들을 weighted 로 고려한다는 점에서 극복하였고, 두번째 단점은 앞서 scaled dot-product attention에서 key 행렬 차원수의 제곱근으로 나눠 scale함으로써 극복하였다. (.. 2020. 11. 14. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 1 ( Transformer, Attention) 오늘은 만 번넘게 인용된 NLP분야의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 모델에 대해 정리해보려고 한다. 먼저 BERT가 트랜스포머 Transformer 네트워크를 기반으로 한만큼 트랜스포머 네트워크에 대해 알아보고 들어가자. Transformer Network란? https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf 구글이 발표한 이 논문에서 등장한 네트워크로 제목에서 유추할 듯이 Attention어텐션만으로 구현하였다. 여기서 attetion 또한 짚고 넘어가보자. Attention 메커니즘이란? 참고 NLP 모델 중 하나인 seq2.. 2020. 10. 24. Embeddings에 대한 이해 -1 | 이미지 기반 유사도, 텍스트 기반 유사도에 대해 이 글은 다음의 글을 참고하여 작성되었습니다. cloud.google.com/solutions/machine-learning/overview-extracting-and-serving-feature-embeddings-for-machine-learning?hl=ko 개요: 머신러닝을 위한 특성 임베딩 추출 및 제공 | 솔루션 | Google Cloud 이 문서는 ML(머신러닝)을 위한 특성 임베딩 추출 및 제공 과정을 살펴보는 시리즈 중 하나입니다. 이 문서에서는 특성 임베딩의 개념과 특성 임베딩이 중요한 이유를 설명합니다. 또한 텍스트 �� cloud.google.com 현재 일하는 스타트업에서는 이미지 기반의 유사도를 측정하여 특정 이미지가 주어졌을 때 이와 유사한 이미지를 찾는 일을 하고 있다. 이미.. 2020. 8. 10. 이전 1 2 다음 728x90 반응형
