반응형 전체105 [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding Abstact BERT는 대부분의 Language Representation model들과 달리, unlabeled text를 이용하여 모든 레이어에서 양방향 문맥을 이용하여 deep bidirectional representations를 미리 학습시킨다. 그 결과, 사전 학습된 BERT는 단 하나의 레이어를 추가함으로써 다른 구조를 수정하지 않고도 파인 튜닝이 되어 많은 task에서(question answering, language inference 등) SOTA의 모델을 만들어낸다. BERT는 개념적으로 간단하지만 강력한데, 11개의 NLP tasks에서 새로운 SOTA 결과를 만들어냈다고 한다.(🤭...) GLUE score에서 기존보다 7.7% 높인 80.5%를 달성하였고, MultiNLI ac.. 2021. 1. 20. TIL : nvidia-smi Failed to initialize NVML 에러 어느날 nvidia-smi로 gpu를 확인해보려는데 다음과 같은 에러가 떴다. "Failed to initialize NVML: Driver/library version mismatch" 찾아보니 드라이버가 업데이트되면서 버전이 맞지 않아 발생하는 문제라고 한다. "lsmod | grep nvidia" 를 쳐보니 다음과 같이 nvidia driver kernel module이 나온다. 이 커널들을 언로딩하고 다시 로딩하면 된다. sudo rmmod nvidia_drm sudo rmmod nvidia_modeset sudo rmmod nvidia_uvm sudo rmmod nvidia ** 이 때, 언로딩시 이미 사용중이라는 메세지가 나타난다면, (Module *** is in use) 프로세스를 kill.. 2021. 1. 15. Elasticsearch 검색 성능 높이기 Tip 이 글은 엘라스틱 블로그 글을 참고하여 작성되었습니다. 기존의 로컬 컴퓨터에서 엘라스틱서치를 작업하다 실제 서비스에 적용하기 위해 AWS ec2위에서 작업하게 되었습니다. (1개의 instance, single node) t3.medium 타입을 사용했는데 아무래도 기존 작업환경보다 성능이 떨어져서 엘라스틱서치 검색 또한 느려지게 되었습니다. (기존에는 0.03초정도 걸렸다면 0.3초로 10배정도 오래 걸림) 이에 노드를 여러개 두는 것도 고려해보았으나 비용상의 문제로 우선은 조금이라도 성능을 올릴만한 팁을 찾아보고 포스팅을 작성하게 되었습니다. 1> 샤드가 너무 많을 때 : 현재 3개의 프라이머리 샤드와 3개의 레플리카 샤드를 사용중이니 해당 안됨. 2> 클러스터에 색인 작업이 많아 CPU 사용률이 높.. 2021. 1. 11. [논문 리뷰] Attention Is All You Need, Transformer 딥러닝 논문 스터디에서 제가 발표한 내용입니다. 마지막 페이지의 side benefit은 제가 부작용으로 이해를 하여 팀원들께 이해가 가지 않은 부분을 질문하다보니 부작용이 아닌 부가적인 장점을 뜻하는 것을 알게 되었습니다😂😂 마치 Black box와 같던 딥러닝 모델을 이제 어느정도 해석이 가능하다는 뜻으로 해석했는데 혹시 다른 의견이 있으신 분들은 댓글로 남겨주시면 감사하겠습니다. ㅎㅎ 2021. 1. 9. 이전 1 ··· 10 11 12 13 14 15 16 ··· 27 다음 728x90 반응형
