반응형 transformer 논문2 [LLM] Attention Is All You Need 자연어 처리(NLP) 분야에서 기술발전에 로켓을 달아준 혁신적인 모델 Transformer에 대한 내용이 담긴 "Attention Is All You Need" 논문은 2017년에 Google 연구팀이 발표하였으며 대형 언어 모델(LLM)의 기초가 되는 아키텍처이다.트랜스포머 모델은 특히 멀티헤드 어텐션(Multi-head Attention) 메커니즘을 사용하여 인풋 시퀀스의 요소들 간의 긴 종속성을 효과적으로 처리할 수 있는데 RNN이나 LSTM과 같은 이전 모델들의 순환 신경망보다 더 효율적이고 병렬 처리가 가능해짐으로써 성능이 훨씬 좋다는 장점이 있다. 논문 리뷰 작성 업데이트 예정! 📝 논문 따라서, 이제 없어서는 안 될 ChatGPT나 Perplexity, Claude와 같은 다양한 .. 2024. 11. 21. [논문] 딥러닝 SOTA 모델 논문 구현 아카이브에 대한 인사이트 - Papers with Code AI에 대해 알아갈수록 망망대해에 표류하는 작은 존재 아니, 거품 한 조각에 불가하다는 느낌이다.아무리 헤엄쳐도 끝이 없을 것 같은 느낌🌊🌊🏊🏻♀️🌊🌊얼마 전까지 짧은 기간이었지만 직접 실무를 접해보았는데 국내 기업 대부분이 해외의 오픈소스를 사용할 수밖에 없는 현실이 안타까웠다. 하지만 기술 발전을 위해 노력하기에는 모든 조건들이 한정적이고 어렵고 딥하게 파고들 시간이 부족하다. 이미 경쟁하기 어려울 만큼...그래도 천재적인 국내 엔지니어분들도 많기 때문에 희망을 갖고 나 또한 초심자의 마음가짐으로 다짐하여 깊이 빠져보려고 한다. 그 유명한 Transformer, YOLO 뿐만 아니라 LLM, RAG, SAM과 Diffusion Policy 등트렌디한 SOTA 모델에 대한 소개, 해당 .. 2024. 11. 20. 이전 1 다음
