반응형 AI/논문, Attention Is All You Need1 [LLM] Attention Is All You Need 자연어 처리(NLP) 분야에서 기술발전에 로켓을 달아준 혁신적인 모델 Transformer에 대한 내용이 담긴 "Attention Is All You Need" 논문은 2017년에 Google 연구팀이 발표하였으며 대형 언어 모델(LLM)의 기초가 되는 아키텍처이다.트랜스포머 모델은 특히 멀티헤드 어텐션(Multi-head Attention) 메커니즘을 사용하여 인풋 시퀀스의 요소들 간의 긴 종속성을 효과적으로 처리할 수 있는데 RNN이나 LSTM과 같은 이전 모델들의 순환 신경망보다 더 효율적이고 병렬 처리가 가능해짐으로써 성능이 훨씬 좋다는 장점이 있다. 논문 리뷰 작성 업데이트 예정! 📝 논문 따라서, 이제 없어서는 안 될 ChatGPT나 Perplexity, Claude와 같은 다양한 .. 2024. 11. 21. 이전 1 다음
