전체 글100 [논문리뷰] LARGE-SCALE CONTRASTIVE LANGUAGE-AUDIO PRETRAINING WITHFEATURE FUSION AND KEYWORD-TO-CAPTION AUGMENTATION(CLAP) 오늘은 오랜만에 멀티모달모델에 대해 리뷰를 해보려고 한다. 대상논문은 CLIP의 오디오버전인 CLAP이며 CLIP이 이미지-텍스트 멀티모달 모델이라면, CLAP은 오디오-텍스트 멀티모달 모델이다. Text의 encoder를 CLIP의 Text encoder를 사용하였으며, 오디오 encoder부분이 CLIP과의 큰 차이이며 기본 로직은 CLIP과 동일하다고 볼 수 있다. Abstract 현재까지 Constrastive Learning(같은 분류의 데이터는 차원축소시 더 가까이두고 다른 분류의 데이터는 더 멀리 두는 학습법)은 멀티모델 representation learning에서 큰 성과를 보여주었는데, 이 논문은 contrastive 언어-오디어 사전학습의 파이프라인을 제시해서 오디어 데이터와 NLP를.. 2024. 1. 20. [논문리뷰] TabNet : Attentive Interpretable Tabular Learning 오늘은 Tabular data 학습에 사용되는 TabNet이라는 모델 논문을 읽어보았다. 원 논문을 깔끔하게 요악한 towarddatascience글도 있어서 같이 참고해보았다. Introduction XGBoost, LightGBM 그리고 Catboost같은 Gradient Boosting Model이 계속해서 tabular data 학습측면에서 인기를 얻고있는데, 구글이 2019년에 낸 TabNet은 Neural Network중 하나로 tree기반의 모델들보다 많은 벤치마크 데이터에서 우수한 성능을 보여줬다. 성능이 우수한 것뿐만이 아니라 설명도 가능한 모델이다. 그런데 왜 인기가 없을까나!?!(심지어 feature preprocessing도 필요없음) TabNet balances explainabi.. 2023. 6. 4. [논문 리뷰] LightGCN: Simplifying and Powering Graph ConvolutionNetwork for Recommendation 오늘은 오랜만에 추천시스템 알고리즘 중 LightGCN 논문에 대해 리뷰해보려고 한다. 대표적인 추천시스템 알고리즘 중 하나로 GCN의 common design인 1) feature transformation, 2)nonlinear activation을 없애고 성능을 올린 알고리즘이다. Abstract 추천시스템 Collaborative Filtering에서 Graph Convolution Network(GCN)은 새로운 SOTA가 되었다.(2020년 당시 얘기임) 근데 GCN의 효율성은 잘 입증이 안되었는데, GCN 사용한 작업들도 GCN에 대해서 ablation 분석(GCN에서 몇가지 특성 빼가면서 분석하는 것)도 안하고 사용했기 때문이다. ※원래는 GCN 자체가 graph classification.. 2023. 4. 1. 일기) 2021년를 돌아보며 2021년이 끝이 났다. 2021년은 이직을 목표로 한 해를 보낸 것 같은데, 막상 이직을 하고 보니 이게 진짜 내가 원한게 맞나 싶으면서 생각이 많다. 이전 회사에 비하면 급여를 비롯하여 보상 측면에서 좋지만, 업무와 관련해선 아무래도 회사 규모가 커지다보니 좁은 영역을 담당하게 되면서 주체적으로 무언가를 만드는 것이 어렵다. 많은 사람들이 회사와 자기발전은 별개로 해야한다고 하는데 그 말이 맞나 싶기도 하다. 회사에서 돈도 받고 즐겁게 자기발전을 하는 게 이상적이라는 생각이 든다. 그래도 회사 사람들도 좋고 동기들도 잘 맞고 집도 가까우니 이보다 더 나은 환경이 있을까 싶다. 우선 최선을 다해봐야겠다. 2021년을 돌아보면 내가 목표한 걸 몇가지 이루었는데 ✔️ 논문 스터디 하기 👉🏻 1년전 직접 논.. 2022. 1. 21. [논문 리뷰] Using Deep Learning to Win the Booking.com WSDMWebTour21 Challenge on Sequential Recommendations - 2 https://simonezz.tistory.com/109 [논문 리뷰] Using Deep Learning to Win the Booking.com WSDMWebTour21 Challenge on Sequential Recommendations - 1 카페에서 빈둥빈둥 서핑을 하며 자유시간을 즐기다가 페이스북 그룹 Recommender System KR에 한 분이 올려주신 소개글을 보고 재밌어보여서 리뷰를 해보고자 한다. 부킹닷컴에서 주최한 Challenge(WSDM W simonezz.tistory.com 1편에 이어 논문 리뷰를 이어가보겠습니다. 4. XLNet with Session-based Matrix Factorization head (XLNet-SMF) XLNet-SMF는 XLNet으로 이.. 2021. 9. 24. [논문 리뷰] Using Deep Learning to Win the Booking.com WSDMWebTour21 Challenge on Sequential Recommendations - 1 카페에서 빈둥빈둥 서핑을 하며 자유시간을 즐기다가 페이스북 그룹 Recommender System KR에 한 분이 올려주신 소개글을 보고 재밌어보여서 리뷰를 해보고자 한다. (https://www.facebook.com/groups/2611614312273351/permalink/3860159744085462/) 대회 페이지: https://www.bookingchallenge.com/ 데이터: https://www.bookingchallenge.com/ 페이퍼: http://ceur-ws.org/Vol-2855/challenge_short_2.pdf 설명 영상: https://youtu.be/bHuww-l_Sq0 코드: https://github.com/NVIDIA-Merlin/competitions/.. 2021. 9. 23. 이전 1 2 3 4 ··· 17 다음 728x90
