개발/그 외2 [논문리뷰] LARGE-SCALE CONTRASTIVE LANGUAGE-AUDIO PRETRAINING WITHFEATURE FUSION AND KEYWORD-TO-CAPTION AUGMENTATION(CLAP) 오늘은 오랜만에 멀티모달모델에 대해 리뷰를 해보려고 한다. 대상논문은 CLIP의 오디오버전인 CLAP이며 CLIP이 이미지-텍스트 멀티모달 모델이라면, CLAP은 오디오-텍스트 멀티모달 모델이다. Text의 encoder를 CLIP의 Text encoder를 사용하였으며, 오디오 encoder부분이 CLIP과의 큰 차이이며 기본 로직은 CLIP과 동일하다고 볼 수 있다. Abstract 현재까지 Constrastive Learning(같은 분류의 데이터는 차원축소시 더 가까이두고 다른 분류의 데이터는 더 멀리 두는 학습법)은 멀티모델 representation learning에서 큰 성과를 보여주었는데, 이 논문은 contrastive 언어-오디어 사전학습의 파이프라인을 제시해서 오디어 데이터와 NLP를.. 2024. 1. 20. [논문리뷰] TabNet : Attentive Interpretable Tabular Learning 오늘은 Tabular data 학습에 사용되는 TabNet이라는 모델 논문을 읽어보았다. 원 논문을 깔끔하게 요악한 towarddatascience글도 있어서 같이 참고해보았다. Introduction XGBoost, LightGBM 그리고 Catboost같은 Gradient Boosting Model이 계속해서 tabular data 학습측면에서 인기를 얻고있는데, 구글이 2019년에 낸 TabNet은 Neural Network중 하나로 tree기반의 모델들보다 많은 벤치마크 데이터에서 우수한 성능을 보여줬다. 성능이 우수한 것뿐만이 아니라 설명도 가능한 모델이다. 그런데 왜 인기가 없을까나!?!(심지어 feature preprocessing도 필요없음) TabNet balances explainabi.. 2023. 6. 4. 이전 1 다음 728x90
