DeepLearning8 [논문 리뷰] Self-Attention Generative Adversarial Networks 안녕하세요. 🌟오늘은 현재 가장 핫한 attention을 GAN에 적용한 논문에 대해 리뷰를 해보겠습니다. Abstract 이 논문에서는 Self-Attention Generative Adversarial Network, 줄여서 SAGAN에 대해 다룬다. 이 모델은 1) attention-driven, 2) long-range dependency modeling을 이용했다고 한다. 전통적인 convolutional GAN은 고해상도의 디테일을 저해상도 feature map에서의 부분적인 local points의 함수로만 만들어낸다. 하지만, SAGAN에서의 디테일한 부분들은 모든 feature locations으로부터의 cue(신호? 큐사인)을 이용해서 만들어내진다. ( 즉, 디테일한 부분 생성이 이미지.. 2021. 3. 1. [논문 리뷰] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 딥러닝 스터디에서 발표한자료입니다. 2021. 2. 10. [논문 리뷰] OpenAI GPT-1 : Improving Language Understanding by Generative Pre-Training (1) Abstract 이 논문에서는 다양한 라벨링되지 않은 데이터로 pre-training을 시킨 후 특정 task에 맞춘 fine-tuning 과정을 거치는 단계를 가진다. 이전의 방법론들과는 달리 모델구조를 최소한으로 변화시키고 효과적인 Transfer를 얻기 위한 fine-tuning 단계에서 과제에 맞는 Input representations을 사용하였다. 다양한 실험 결과를 통해 이 접근이 다양한 과제에 대해 효과적임을 증명하였다. 이 논문에서 task에 대한 사전 지식이 없는(task-agnostic) 모델은 특정과제에 특화된 모델 성능을 뛰어넘는다. 테스트된 12개의 tasks 중 9개에서 SOTA 수준의 성능을 달성하였다. 1. Introduction 라벨링 되지 않은 raw 데이터의 텍스트에서.. 2021. 2. 3. [논문 리뷰] Attention Is All You Need, Transformer 딥러닝 논문 스터디에서 제가 발표한 내용입니다. 마지막 페이지의 side benefit은 제가 부작용으로 이해를 하여 팀원들께 이해가 가지 않은 부분을 질문하다보니 부작용이 아닌 부가적인 장점을 뜻하는 것을 알게 되었습니다😂😂 마치 Black box와 같던 딥러닝 모델을 이제 어느정도 해석이 가능하다는 뜻으로 해석했는데 혹시 다른 의견이 있으신 분들은 댓글로 남겨주시면 감사하겠습니다. ㅎㅎ 2021. 1. 9. 이전 1 2 다음 728x90
