반응형 전체 글105 [시작] Deep Learning: CS 182 Spring 2021 텐플코에서 구경하던 중 uc 버클리에서 딥러닝 강의를 공개했다는 이활석님의 게시물을 보고 매주 lecture 한 개씩 듣고 리뷰를 써보기로 하였다. 사실 3년전 석사시절 딥러닝을 입문하며 다 들은 내용이지만, 10시간밖에 안되니 후루룩 들으며 정리하기에 좋을 것 같다. 영어 공부도 되고 최신 수업에서 다루는 topics에 대한 궁금증도 해결할 수 있을 듯 하다. 2021. 3. 20. [논문 리뷰] You Only Look Once: Unified, Real-Time Object Detection(2016) 오늘은 정말 유명한 Object Detection 모델 Yolo에 대해 리뷰해보도록 하겠습니다. Abstract 기존의 object detection 모델들은 detection을 수행하기 위해 classifiers들을 제안했었다. 하지만 이 논문에서 제안하는 yolo는 object detection을 separated bounding boxes와 class 확률에 대한 regression problem으로 정의한다. Yolo의 single neural network는 one evaluation에서의 full images로부터 bounding boxes와 class 확률값들을 예측하는데, (image내 bounding boxes와 분류를 위한 확률값들) 전체 detection 파이프라인이 하나의 netwo.. 2021. 3. 15. [논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks - 2 simonezz.tistory.com/78 [논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks - 1 회사에서 프로젝트를 진행하면서 Domain adaption에 관한 질문을 텐플코에 올렸다가 추천받은 논문인데 마침 스터디 주제 논문도 이 논문이라 정리하는 겸 블로그에 작성하게 되었다. 발표된 이후 simonezz.tistory.com 위의 포스팅에서 이어지는 내용입니다. Task-Adaptive Pretraining 특정 tasks에 맞춰 큐레이트된 데이터셋은 넓은 도메인에서 오직 한 부분만 커버하는 경향이 있는데, 예를 들어, 화학물질과 단백질간의 관계를 추출하기 위해 CHEMPROT 데이터셋은 선택된 PubMed 카테.. 2021. 3. 10. [논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks - 1 회사에서 프로젝트를 진행하면서 Domain adaption에 관한 질문을 텐플코에 올렸다가 추천받은 논문인데 마침 스터디 주제 논문도 이 논문이라 정리하는 겸 블로그에 작성하게 되었다. 발표된 이후 많은 관심을 받고 있는 BERT를 회사에서나 특정 도메인에서 사용할 때 기존에 학습된 모델(KorBERT, HanBERT)를 사용하여 fine-tuning을 한다면 성능을 크게 기대하기 어려울 것이다. Pre-training시 이용한 위키피디아 데이터셋들은 적용하고자 하는 도메인과 많이 다르기 때문이다. 전에 읽었던 LegalBERT는 이러한 경우에 다음의 세가지 방법을 생각해볼수 있다고 했다. (a) use the original BERT out of the box (b) adapt BERT by addit.. 2021. 3. 7. [논문 리뷰] Self-Attention Generative Adversarial Networks 안녕하세요. 🌟오늘은 현재 가장 핫한 attention을 GAN에 적용한 논문에 대해 리뷰를 해보겠습니다. Abstract 이 논문에서는 Self-Attention Generative Adversarial Network, 줄여서 SAGAN에 대해 다룬다. 이 모델은 1) attention-driven, 2) long-range dependency modeling을 이용했다고 한다. 전통적인 convolutional GAN은 고해상도의 디테일을 저해상도 feature map에서의 부분적인 local points의 함수로만 만들어낸다. 하지만, SAGAN에서의 디테일한 부분들은 모든 feature locations으로부터의 cue(신호? 큐사인)을 이용해서 만들어내진다. ( 즉, 디테일한 부분 생성이 이미지.. 2021. 3. 1. 일기) 2021년 2월 회고 2021년 2월의 마지막날(사실 12시가 넘어 벌써 3월이긴 하지만...) 2월 한달동안 어떻게 살았는지 한번 또 체크해보고자 한다. ✔️✔️: 만족스러울 정도로 달성하고 있음. ✔️ : 달성은 했으나 만족스럽지 않음. ❌ : 달성 안함. 1. 운동 (일주일에 4번 이상) 👉🏻 일주일 3번 요가, 근력운동 1번 정도 인것 같다. 근력운동을 더 늘려야 겠다. ✔️ 2. 핸드폰 줄이기 (스크린 타임 2시간 이하) 👉🏻1월보다 많이 늘어 하루에 6시간정도이다.. 클럽하우스에 가입하면서 많이 늘었는데 정말 듣고싶은 클럽하우스 방만 참여하고 배경으로 틀어놓는 경우는 줄여야겠다. ❌ 3. 아침 7시반 기상 👉🏻 전화영어 덕분에 7시 15분에 기상하는데 전에 더 일찍일어나려던 계획은 못지키고 있다. 3월부터 다시 6.. 2021. 3. 1. 이전 1 ··· 4 5 6 7 8 9 10 ··· 18 다음 728x90 반응형
