반응형 개발92 [논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks - 1 회사에서 프로젝트를 진행하면서 Domain adaption에 관한 질문을 텐플코에 올렸다가 추천받은 논문인데 마침 스터디 주제 논문도 이 논문이라 정리하는 겸 블로그에 작성하게 되었다. 발표된 이후 많은 관심을 받고 있는 BERT를 회사에서나 특정 도메인에서 사용할 때 기존에 학습된 모델(KorBERT, HanBERT)를 사용하여 fine-tuning을 한다면 성능을 크게 기대하기 어려울 것이다. Pre-training시 이용한 위키피디아 데이터셋들은 적용하고자 하는 도메인과 많이 다르기 때문이다. 전에 읽었던 LegalBERT는 이러한 경우에 다음의 세가지 방법을 생각해볼수 있다고 했다. (a) use the original BERT out of the box (b) adapt BERT by addit.. 2021. 3. 7. [논문 리뷰] Self-Attention Generative Adversarial Networks 안녕하세요. 🌟오늘은 현재 가장 핫한 attention을 GAN에 적용한 논문에 대해 리뷰를 해보겠습니다. Abstract 이 논문에서는 Self-Attention Generative Adversarial Network, 줄여서 SAGAN에 대해 다룬다. 이 모델은 1) attention-driven, 2) long-range dependency modeling을 이용했다고 한다. 전통적인 convolutional GAN은 고해상도의 디테일을 저해상도 feature map에서의 부분적인 local points의 함수로만 만들어낸다. 하지만, SAGAN에서의 디테일한 부분들은 모든 feature locations으로부터의 cue(신호? 큐사인)을 이용해서 만들어내진다. ( 즉, 디테일한 부분 생성이 이미지.. 2021. 3. 1. [논문 리뷰] U-GAT-IT: UNSUPERVISED GENERATIVE ATTEN- TIONAL NETWORKS WITH ADAPTIVE LAYER- INSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE TRANSLATION 오늘은 2019년에 발표된 image-to-image translation 논문 중 하나인 U-GAT-IT모델에 대해 리뷰를 해보도록 하겠습니다. Abstract 이 논문에서는 unsupervised image-to-image translation의 새로운 방법을 제시한다. Attention 모듈과 새로운 learnable normalization function(AdaLIN)을 통합한 방법이라 설명할 수 있다. 각각의 역할은 다음과 같다. ✔️ 1. Attention 모듈 source와 target 도메인을 어텐션 맵(obtained by the auxiliary classifier)을 기반으로 구분하면서 모델이 더 중요한 영역에 집중하도록 한다. 이전에 어텐션을 사용한 모델들은 도메인 간의 geome.. 2021. 2. 22. [논문 리뷰] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 딥러닝 스터디에서 발표한자료입니다. 2021. 2. 10. 이전 1 ··· 6 7 8 9 10 11 12 ··· 23 다음 more 728x90 반응형
