반응형 전체 글105 TIL : TimeOutException 유발하기, exit code 137 signal kill [python] 1. for문에서 각자 메소드를 돌릴 때 예외사항이 발생해서 while문이 무한으로 돌때가 있다. 이런 예외사항을 방지하기 위해 정해진 시간이 지나면 TimeOutException을 일으키는 코드이다. import signal import time class TimeOutException(Exception): pass def alarm_handler(signum, frame): print("Time is up!") raise TimeOutException() def loop_for_n_seconds(n): for sec in range(n): print("{} second!".format(sec)) time.sleep(1) 2. 메모리 상의 문제로 "exit code 137 signal kill" 와 같.. 2021. 1. 1. Graph Neural Network(GNN) 란? - 1 현재 Neural Network는 structured 데이터에 관해 일부 분야에서 인간보다 더 잘 판단하고 추론한다고해도 과언이 아니다. 2012년이후 폭발적으로 관심을 받고 수많은 논문과 기술들이 나오면서 엄청난 정확도를 보이고 있다. Structured 데이터의 예시로는 이미지, 텍스트, 음성신호등이 있다. 이미지는 픽셀값으로 matrix형태로 나타낼 수 있고, 텍스트또한 일정한 문자를 사용한 데이터로 임베딩을 통해 유클리디안 공간에서 표현이 가능하다. 그렇다면 unstructured 데이터에 관해서는 어떨까? 대표적으로 소셜 네트워크에서 유저들 사이의 관계는 꽤나 추상적인 개념이기에 사회적 관계망을 설명할 때 그래프는 필수적이다. Graph Neural Network도 내 생각과는 다르게 꽤 오래전.. 2020. 12. 26. fastText란 무엇인가? 오늘은 FACEBOOK AI연구소에서 만든 텍스트 임베딩 기법 중 하나인 fastText에 대해 알아보자. 전반적으로 word2vec과 유사하나, 가장 큰 차이점은 각 단어를 character 단위 n-gram으로 쪼갠다는 것이다. 예를 들어, "eating"이라는 단어는 n=3일 때 아래와 같이 쪼개져서 표현된다. 한국어 같은 경우에는, 토마토주스를 표현한다고 하면, [토마, 토마토, 마토주, 토주스, 주스]로 표현된다. fastText또한 word2vec에서와 같이 네거티브 샘플링을 쓴다. 네거티브 샘플링에 대한 내용은 https://simonezz.tistory.com/36 Word2vec 알고리즘 리뷰 2 : Negative sampling 와 Subsampling 앞전에 리뷰한 word2vec의.. 2020. 11. 21. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 2 ( Transformer, Attention) 해당 글은 이 글, 그리고 한국어 임베딩 책(by 이기창님)을 참고하여 작성하였음을 미리 알려드립니다. 4. 어텐션 메커니즘 2) 기존 모델과 비교 CNN과 비교해보면 CNN은 일정 window만큼만 단어들을 보기 때문에 문장 전체에서의 연결성이 떨어진다. 즉, 길이가 긴 문장에서 첫번째 단어와 마지막쪽 단어간의 연관성을 파악하기가 어렵다. RNN과 비교해보면 이전 포스트에서 언급했듯이 그래디언트 배니싱(Gradient Vanishing)문제가 일어날 가능성이 있다. 첫번째 단점을 어텐션은 문장의 모든 단어들을 weighted 로 고려한다는 점에서 극복하였고, 두번째 단점은 앞서 scaled dot-product attention에서 key 행렬 차원수의 제곱근으로 나눠 scale함으로써 극복하였다. (.. 2020. 11. 14. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 1 ( Transformer, Attention) 오늘은 만 번넘게 인용된 NLP분야의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 모델에 대해 정리해보려고 한다. 먼저 BERT가 트랜스포머 Transformer 네트워크를 기반으로 한만큼 트랜스포머 네트워크에 대해 알아보고 들어가자. Transformer Network란? https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf 구글이 발표한 이 논문에서 등장한 네트워크로 제목에서 유추할 듯이 Attention어텐션만으로 구현하였다. 여기서 attetion 또한 짚고 넘어가보자. Attention 메커니즘이란? 참고 NLP 모델 중 하나인 seq2.. 2020. 10. 24. 일기) 또다시 오랜만의 글 최근 회사일과 다른 이런저런 일들로 바쁘며 블로그를 소홀히 했다. 9월에 쓴 글이 하나도 없는데 9월을 나만의 안식달(?)로 여기고 10월부터 다시 시작하고자 한다. 요즘들어 욕심이 많아 이것저것 취미로 배우고 싶은데 우선순위를 정해서 배우고자 한다. 배우거나 이미 알고있지만 마스터하고 싶은 리스트는 다음과 같다. SQL 자유자재로 다룰 수 있는 정도 JAVA 마스터 Spring boot 토이 프로젝트라도 하기 Javascript 재미로 배우고 싶음 딥러닝 최신 논문 리뷰 Hadoop 입문 너무 욕심내지 말고 한달에 하나씩 이루어 보려고 한다. 화이팅! 시모니의 10월의 추천 최근 라는 책을 읽고 있는데 넘 재밌다. 임베딩 관심있는 모든 분들에게 추천합니다!! (참고 ratsgo.github.io/nat.. 2020. 10. 4. 이전 1 ··· 8 9 10 11 12 13 14 ··· 18 다음 728x90 반응형
