Transformer2 [논문 리뷰] Attention Is All You Need, Transformer 딥러닝 논문 스터디에서 제가 발표한 내용입니다. 마지막 페이지의 side benefit은 제가 부작용으로 이해를 하여 팀원들께 이해가 가지 않은 부분을 질문하다보니 부작용이 아닌 부가적인 장점을 뜻하는 것을 알게 되었습니다😂😂 마치 Black box와 같던 딥러닝 모델을 이제 어느정도 해석이 가능하다는 뜻으로 해석했는데 혹시 다른 의견이 있으신 분들은 댓글로 남겨주시면 감사하겠습니다. ㅎㅎ 2021. 1. 9. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding) 정리 - 1 ( Transformer, Attention) 오늘은 만 번넘게 인용된 NLP분야의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 모델에 대해 정리해보려고 한다. 먼저 BERT가 트랜스포머 Transformer 네트워크를 기반으로 한만큼 트랜스포머 네트워크에 대해 알아보고 들어가자. Transformer Network란? https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf 구글이 발표한 이 논문에서 등장한 네트워크로 제목에서 유추할 듯이 Attention어텐션만으로 구현하였다. 여기서 attetion 또한 짚고 넘어가보자. Attention 메커니즘이란? 참고 NLP 모델 중 하나인 seq2.. 2020. 10. 24. 이전 1 다음 728x90
