반응형 전체105 TIL : TimeOutException 유발하기, exit code 137 signal kill [python] 1. for문에서 각자 메소드를 돌릴 때 예외사항이 발생해서 while문이 무한으로 돌때가 있다. 이런 예외사항을 방지하기 위해 정해진 시간이 지나면 TimeOutException을 일으키는 코드이다. import signal import time class TimeOutException(Exception): pass def alarm_handler(signum, frame): print("Time is up!") raise TimeOutException() def loop_for_n_seconds(n): for sec in range(n): print("{} second!".format(sec)) time.sleep(1) 2. 메모리 상의 문제로 "exit code 137 signal kill" 와 같.. 2021. 1. 1. Graph Neural Network(GNN) 란? - 1 현재 Neural Network는 structured 데이터에 관해 일부 분야에서 인간보다 더 잘 판단하고 추론한다고해도 과언이 아니다. 2012년이후 폭발적으로 관심을 받고 수많은 논문과 기술들이 나오면서 엄청난 정확도를 보이고 있다. Structured 데이터의 예시로는 이미지, 텍스트, 음성신호등이 있다. 이미지는 픽셀값으로 matrix형태로 나타낼 수 있고, 텍스트또한 일정한 문자를 사용한 데이터로 임베딩을 통해 유클리디안 공간에서 표현이 가능하다. 그렇다면 unstructured 데이터에 관해서는 어떨까? 대표적으로 소셜 네트워크에서 유저들 사이의 관계는 꽤나 추상적인 개념이기에 사회적 관계망을 설명할 때 그래프는 필수적이다. Graph Neural Network도 내 생각과는 다르게 꽤 오래전.. 2020. 12. 26. fastText란 무엇인가? 오늘은 FACEBOOK AI연구소에서 만든 텍스트 임베딩 기법 중 하나인 fastText에 대해 알아보자. 전반적으로 word2vec과 유사하나, 가장 큰 차이점은 각 단어를 character 단위 n-gram으로 쪼갠다는 것이다. 예를 들어, "eating"이라는 단어는 n=3일 때 아래와 같이 쪼개져서 표현된다. 한국어 같은 경우에는, 토마토주스를 표현한다고 하면, [토마, 토마토, 마토주, 토주스, 주스]로 표현된다. fastText또한 word2vec에서와 같이 네거티브 샘플링을 쓴다. 네거티브 샘플링에 대한 내용은 https://simonezz.tistory.com/36 Word2vec 알고리즘 리뷰 2 : Negative sampling 와 Subsampling 앞전에 리뷰한 word2vec의.. 2020. 11. 21. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 2 ( Transformer, Attention) 해당 글은 이 글, 그리고 한국어 임베딩 책(by 이기창님)을 참고하여 작성하였음을 미리 알려드립니다. 4. 어텐션 메커니즘 2) 기존 모델과 비교 CNN과 비교해보면 CNN은 일정 window만큼만 단어들을 보기 때문에 문장 전체에서의 연결성이 떨어진다. 즉, 길이가 긴 문장에서 첫번째 단어와 마지막쪽 단어간의 연관성을 파악하기가 어렵다. RNN과 비교해보면 이전 포스트에서 언급했듯이 그래디언트 배니싱(Gradient Vanishing)문제가 일어날 가능성이 있다. 첫번째 단점을 어텐션은 문장의 모든 단어들을 weighted 로 고려한다는 점에서 극복하였고, 두번째 단점은 앞서 scaled dot-product attention에서 key 행렬 차원수의 제곱근으로 나눠 scale함으로써 극복하였다. (.. 2020. 11. 14. 이전 1 ··· 13 14 15 16 17 18 19 ··· 27 다음 728x90 반응형
