데알못정을

요약: 기존의 ViT, ViViT를 활용할 때 있어서, 패치의 높은 연산량 문제를 TokenLearner module이라는 효율적으로 해결할 수 있는 토큰 학습 방법을 제안하였음 이 논문을 이해하기 위해서는 아래 3가지 동향을 알고 있어야 한다. 기존에 텍스트 시퀀스나 시계열적 데이터를 처리했던 Transformer모델을 이미지에 적용하는 방법을 제안한 것이 ViT고, 비디오에 적용하는 방법을 제안한 것이 ViViT이다. 논문에서는 이러한 Transformer 기반의 모델을 비전 분야에 적용할 경우 만날 수 있는 문제를 다음과 같이 정의하면서 시작했다. Introduction 1) Main Challenge in Vision Transformers - Patch calculation quantity 논문..