데알못정을

요약: 기존의 ViT, ViViT를 활용할 때 있어서, 패치의 높은 연산량 문제를 TokenLearner module이라는 효율적으로 해결할 수 있는 토큰 학습 방법을 제안하였음 이 논문을 이해하기 위해서는 아래 3가지 동향을 알고 있어야 한다. 기존에 텍스트 시퀀스나 시계열적 데이터를 처리했던 Transformer모델을 이미지에 적용하는 방법을 제안한 것이 ViT고, 비디오에 적용하는 방법을 제안한 것이 ViViT이다. 논문에서는 이러한 Transformer 기반의 모델을 비전 분야에 적용할 경우 만날 수 있는 문제를 다음과 같이 정의하면서 시작했다. Introduction 1) Main Challenge in Vision Transformers - Patch calculation quantity 논문..

트위터 피드 글이나 stack overflow 제목 등과 같은 Short text를 가지고 토픽 모델링을 할 때 만날 수 있는 문제는 데이터 분석 시 데이터의 수가 부족할 때 만날 수 있는 문제와 비슷하다. 논문에서 저자는 전통적인 토픽 모델들이 short text에서 좋은 성능을 기대할 수 없는 이유는 short text에서 단어의 발생이 희소하기 때문이라고 말하고 있다. 논문에서 제안한 모델 Attention-based Autoencoder Topic Model, 줄여서 AATM은 1) Phrase(구문) model, 2) Attention based Auto-Encoder, 3) Ranking model로 구성되어 있다. 그림 1은 모델의 전체 구조이다. 1) Phrase model Phrase m..

○Introduction 이 논문의 저자는 기존의 통계기반 토픽 모델들이 복잡한 추론 절차(LDA 같은 경우에는 깁스 샘플링)가 필요하고, 단어 수준의 의미를 토픽 모델이 반영하지 않는 문제를 지적하면서 신경망의 적대적 구조를 활용한 새로운 토픽 모델을 제안하였다. 논문에서 제안한 모델의 구성요소를 뜯어 보면서 논문에서 제안한 모델은 토픽 모델링에 어떤 기여를 했는지 정리하고자 한다. 논문에서 제안한 Adversarial-neural Topic Model(ATM)은 총 3가지의 주요 구성요소가 있다. 1) document sample module 2) Generator based on Dirichlet 3) Discriminator 4) Training 순서대로 살펴보면서 이 논문에서 제안한 모델에 대해..

이 논문은 document representation 즉, 문서 표현에 대한 논문이다. 문서들을 대표하는 표현을 추출하는 알고리즘을 LSTM의 모듈을 응용하여 새로운 알고리즘을 제안했다. 이번 포스트에서는 본 논문의 기술 순서에 따라 핵심 내용을 정리하고자 한다. ○Abstract 문서 표현은 텍스트 마이닝, 자연어 처리 및 정보 검색 분야에서 중요한 역할을 한다. 문서 표현의 전통적 접근법은 각 단어가 독립적으로 존재함을 가정하고, 동의어에 대한 충분하지 않은 고려로 인해 문서 간 상관관계나 단어의 순서 정보가 무시되는 문제를 겪을 수 있다. LSTM과 같은 순서를 고려하는 모델은 이 문제를 해결하는데 효과적이지만, 단순히 LSTM만을 사용하면 문서 표현을 학습하기 위해 문서 전체 의미를 파악하는데에는..

토픽 모델링은 Text Analysis에 큰 영향을 준 연구 분야이다. 이러한 토픽 모델링에 신경망(Neural Network)을 결합하여 신경망의 장점을 적극 활용한다면, 새로운 연구 주제들이 개발되어질 수 있다. 이 논문은, 최근 연구된 신경망과 토픽 모델의 결합인 Neural Topic Model들의 종합적인 개요가 기록되어 있다. 토픽 모델링은 머신러닝, 자연어처리(NLP), 데이터 마이닝에 다양하게 적용되면서 성과를 보였다. LDA 같은 확률 기반 토픽 모델은 사전 분포로부터 샘플링된 잠재변수의 구조를 가진 문서의 데이터를 생성하는 확률적 생성 모델로 구체화 될 수 있다. LDA에서는 토픽을 이러한 잠재변수로 정의할 수 있다는 것이 장점이다. 하지만 이러한 LDA의 성과에도 불구하고, 빅데이터와..

오늘 포스팅에서 리뷰할 논문은 "GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models"이며, 이 논문은 2021년 12월 open ai에서 나온 논문이고, text를 image로 생성한다는 점에서 DALL-E와 목적은 같지만, Diffusion model을 사용하여 구현했다는 특징이 있다. 이 논문은 CLIP guidance 학습 방법과 Classifier-free guidance 학습 방법을 비교하여 실험 결과를 제시하고 있다. ​Introduction 최근 guidance technique이 diffusion model의 이미지 생성 결과를 high quality로 만들어 주었다. [4]“..