전체 글100 [논문 리뷰] ViT(Vision Transformer) : AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 오늘은 NLP에서 엄청난 성능을 보여주고 있는 트랜스포머를 비전 분야에 적용한 Vision Transformer에 대해 리뷰해보고자 한다. 이름만 들어보고 방법론에 대해 아예 몰라서 궁금하고 기대된다. Abstract 트랜스포머 구조가 자연어 처리 task들에서 사실상 표준이 되는 동안, 비전에 이를 적용한 사례는 한정되어왔다. 비전 분야에서 어텐션은 Convolutional network과 함께 적용되거나, Convolutional network의 특정 요소를 대체하기 위해 사용되었기 때문이다. 🌟 이 논문에서는 이러한 CNN에 대한 의존이 필요하지 않고 순수 트랜스포머가 곧바로 이미지 패치들에 사용되고 이미지 분류에 잘 작동함을 보여준다. 많은 양의 데이터에서 사전학습되고 여러 중간 사이즈나 작은 사.. 2021. 5. 26. [Lecture 10] Recurrent Neural Networks https://www.youtube.com/watch?v=PyZvbaC5oQY Part 1 오늘은 sequential data를 다루는데에 많이 사용되는 RNN에 대해 알아보자. 만약 우리가 사용하는 input의 사이즈가 변한다면 어떻게 될까? 예를 들어, 문장과 같은 인풋을 사용한다면 문장에 따라 길이가 계속해서 달라지게 된다. 아니면 비디오나 사운드와 같은 데이터인 경우에도 데이터에 따라 길이가 계속해서 다르다. 간단하게 생각해보면 max 길이가 5개라고 하면 5개미만의 데이터는 0으로 채우거나 이런 형태로 디자인을 할 수도 있다. 하지만 당연히 0으로 그냥 채워버리는 것이 최선의 아이디어는 아니다. 그럼 한 레이어에 한 개의 인풋이 들어간다고 하면 어떨까? 하나씩 레이어에 넣어주는 형태말이다. 각 .. 2021. 5. 23. [Lecture 9] Visualization and Style Transfer https://www.youtube.com/watch?v=VKPkM6jt_P0 Part 1 : Generating Images from CNNs 전까지 네트워크의 작동원리, 배치, 정규화와 같은 방법론에 대해 배웠다. 그럼 CNN와 같은 convolutional network같은 경우에 층을 거치면서 어떠한 데이터, 이미지를 "보는" 것일까? 이를 시각화해보고 확인해보고 싶은 생각이 자연스럽게 들 것이다. 이러한 확인을 통해 네트워크를 이해하고 좀 더 발전시킬 수 있기 때문이다. 이번 파트에서는 이러한 시각화에 대해 배운다. 어떤 것을 시각화해볼 수 있을까?/ 시각해보고 싶을까? 첫번째로는 filter 그 자체이다. weight라고도 말할 수 있다. 어떤 이미지 feature가 필터를 통해 나오는 것일까.. 2021. 5. 19. 일기) 2021년 4월 회고 많은 일이 있었던 4월 회고를 해보고자 한다. ㅎㅎ ✔️✔️: 만족스러울 정도로 달성하고 있음. ✔️ : 달성은 했으나 만족스럽지 않음. ❌ : 달성 안함. 1. 운동 (일주일에 4번 이상) 👉🏻 필라테스랑 자전거/달리기로 달성 ✔️✔️ 2. 핸드폰 줄이기 (스크린 타임 2시간 이하) 👉🏻 아직 고치기 힘들다... 그래도 유투브 프리미엄 끊었더니 광고때문에 줄은 것 같다 ❌ 3. 아침 7시반 기상 👉🏻 4월 체력이 너무 딸려서 못했는데 다시 내일부터 시작이당 ❌ 4. 전화영어 꾸준히 👉🏻 4월 너무 바빠서 홀딩중이다ㅠㅠ 담주부터 다시 시작해야지 ❌ 5. 논문 리뷰 일주일에 1번 👉🏻 논문 스터디에서 진행중이지만 4월에 너무 정신없어서 제대로 못했다. 다시 달리장 ✔️ 6. Github 관리 👉🏻 ...쩝.. 2021. 5. 11. [논문 리뷰] Combination of Multiple Global Descriptors for Image Retrieval Image Retrieval 즉 이미지 검색과 관련된 논문을 검색하던 중 Paper with code에서 굉장히 높은 성능을 보여주는 것에 관심을 가져 본격적으로 리뷰를 하기로 결심했다. 네이버/라인 분들이 쓰신 논문이라 더 정이 가기도 한다. 암튼 시작!! Abstract 최근 이미지검색 연구들은 다른 모델들을 앙상블하고 다양한 global descriptors를 결합하는 방법이 성능을 개선한다는 것을 보여주고 있다. 하지만, 앙상블을 하기 위해 여러모델을 학습하는 것은 어렵고 시간과 메모리소모가 크다는 점에서 비효율적이다. 이 논문에서는 새로운 프레임워크를 제안하는데, 이는 여러 end-to-end방식으로 학습이 가능한 global descriptors를 통해 앙상블 효과를 갖는다. 이 프레임워크는 .. 2021. 5. 10. [Lecture 8] Computer Vision 이번 강의는 Computer vision분야에서 어떤식으로 딥러닝을 사용하는 지에 대해 대략적으로 소개하는 파트들로 구성되어 있다. 2018년에 대학원 강의를 들으며 딥러닝이 어떻게 쓰이는지에 대해 구체적인 소개를 듣고 정말 무서움과 놀라움을 금치못했는데 최신 강의에서는, 그것도 미국에서는 어떻게 흐름을 소개하는지가 궁금하다. (Lecture 6, 7은 보완해야할 부분이 많아 보완 후 다음주 주말 업로드 예정) Part 1 이제까지는 딥러닝에 대한 core idea, 예를 들어 convolutoin, normalization등에 대해 다뤘다. 이번 강의에서는 어떻게 딥러닝이 쓰이는지, 특히 컴퓨터비전 분야에서 어떻게 쓰이는 지에 대해 다룬다. 앞서 본 내용들은 이미지가 들어가서 output value가 .. 2021. 5. 9. 이전 1 2 3 4 5 6 ··· 17 다음 728x90
