반응형 개발92 [Lecture 1] Introduction www.youtube.com/watch?v=rSY1pVGdZ4I&list=PL_iWQOsE6TfVmKkQHucjPAoRtIJYt8a5A&index=1 Part 1 모델은 언어의 universal representation을 배우는 것과 같다. 그 후에 타겟 언어로 decoding하는 것이다. 만약에 모델이 더 common 언어에 대해서 학습이 되어있다면 rare 언어로 번역하는 것이 쉬울 것이다. 여기서 zero-shot machine translation에 대해서도 언급하였는데, zero-shot이라는 단어로부터 알 수 있듯이 한 번도 본적 없는 언어를 번역하는 것이다. 또한 multilingual translation model에서 만약 target 언어(desired language)가 40% sp.. 2021. 3. 20. [시작] Deep Learning: CS 182 Spring 2021 텐플코에서 구경하던 중 uc 버클리에서 딥러닝 강의를 공개했다는 이활석님의 게시물을 보고 매주 lecture 한 개씩 듣고 리뷰를 써보기로 하였다. 사실 3년전 석사시절 딥러닝을 입문하며 다 들은 내용이지만, 10시간밖에 안되니 후루룩 들으며 정리하기에 좋을 것 같다. 영어 공부도 되고 최신 수업에서 다루는 topics에 대한 궁금증도 해결할 수 있을 듯 하다. 2021. 3. 20. [논문 리뷰] You Only Look Once: Unified, Real-Time Object Detection(2016) 오늘은 정말 유명한 Object Detection 모델 Yolo에 대해 리뷰해보도록 하겠습니다. Abstract 기존의 object detection 모델들은 detection을 수행하기 위해 classifiers들을 제안했었다. 하지만 이 논문에서 제안하는 yolo는 object detection을 separated bounding boxes와 class 확률에 대한 regression problem으로 정의한다. Yolo의 single neural network는 one evaluation에서의 full images로부터 bounding boxes와 class 확률값들을 예측하는데, (image내 bounding boxes와 분류를 위한 확률값들) 전체 detection 파이프라인이 하나의 netwo.. 2021. 3. 15. [논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks - 2 simonezz.tistory.com/78 [논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks - 1 회사에서 프로젝트를 진행하면서 Domain adaption에 관한 질문을 텐플코에 올렸다가 추천받은 논문인데 마침 스터디 주제 논문도 이 논문이라 정리하는 겸 블로그에 작성하게 되었다. 발표된 이후 simonezz.tistory.com 위의 포스팅에서 이어지는 내용입니다. Task-Adaptive Pretraining 특정 tasks에 맞춰 큐레이트된 데이터셋은 넓은 도메인에서 오직 한 부분만 커버하는 경향이 있는데, 예를 들어, 화학물질과 단백질간의 관계를 추출하기 위해 CHEMPROT 데이터셋은 선택된 PubMed 카테.. 2021. 3. 10. 이전 1 ··· 5 6 7 8 9 10 11 ··· 23 다음 more 728x90 반응형
