데알못정을

이 논문은 document representation 즉, 문서 표현에 대한 논문이다. 문서들을 대표하는 표현을 추출하는 알고리즘을 LSTM의 모듈을 응용하여 새로운 알고리즘을 제안했다. 이번 포스트에서는 본 논문의 기술 순서에 따라 핵심 내용을 정리하고자 한다. ○Abstract 문서 표현은 텍스트 마이닝, 자연어 처리 및 정보 검색 분야에서 중요한 역할을 한다. 문서 표현의 전통적 접근법은 각 단어가 독립적으로 존재함을 가정하고, 동의어에 대한 충분하지 않은 고려로 인해 문서 간 상관관계나 단어의 순서 정보가 무시되는 문제를 겪을 수 있다. LSTM과 같은 순서를 고려하는 모델은 이 문제를 해결하는데 효과적이지만, 단순히 LSTM만을 사용하면 문서 표현을 학습하기 위해 문서 전체 의미를 파악하는데에는..

토픽 모델링은 Text Analysis에 큰 영향을 준 연구 분야이다. 이러한 토픽 모델링에 신경망(Neural Network)을 결합하여 신경망의 장점을 적극 활용한다면, 새로운 연구 주제들이 개발되어질 수 있다. 이 논문은, 최근 연구된 신경망과 토픽 모델의 결합인 Neural Topic Model들의 종합적인 개요가 기록되어 있다. 토픽 모델링은 머신러닝, 자연어처리(NLP), 데이터 마이닝에 다양하게 적용되면서 성과를 보였다. LDA 같은 확률 기반 토픽 모델은 사전 분포로부터 샘플링된 잠재변수의 구조를 가진 문서의 데이터를 생성하는 확률적 생성 모델로 구체화 될 수 있다. LDA에서는 토픽을 이러한 잠재변수로 정의할 수 있다는 것이 장점이다. 하지만 이러한 LDA의 성과에도 불구하고, 빅데이터와..

1. 특이값 분해(Singulart Value Decomposition, SVD) 특이값 분해(Singular Value Decomposition, SVD)란 실수 벡터 공간에서 A가 m $\times$ n 행렬일 때, 다음과 같이 3개의 행렬의 곱으로 분해(decomposition)하는 것을 말한다. $$A=U\sum_{}^{}V^T$$ 여기서 각 3개의 행렬은 다음과 같은 조건을 만족한다. $$U: m\times m 직교행렬$$ $$V: n\times n 직교행렬$$ $$\sum : m\times n 직사각대각행렬$$ 직교행렬(orthogonal matrix)이란 자신과 자신의 전치 행렬(transposed matrix)의 곱 또는 이를 반대로 곱한 결과가 단위행렬(identity matrix)이 되..

최근 SNS, 뉴스, 문헌 등을 포함한 비정형 데이터가 끊임없이 발생하고 있지만, 실시간으로 발생되는 이러한 유형을 가진 데이터의 특성상 더 이상 사람의 힘으로 문서, 단어 간 분석이 쉽지 않은 현실이다. 따라서, 현재는 머신러닝, 딥러닝 모델을 통해 데이터들의 주제 및 의미를 탐색하며, 트렌드, 요약, 번역 분야 등에 정량적인 의미를 찾을 수 있는 추세이다. 이러한 자연어 처리 분야에서 토픽 모델(Topic model)이란 문서 집합의 추상적인 “주제”를 발견하기 위한 통계적 모델 중 하나로, 텍스트 본문의 숨겨진 의미구조를 발견하기 위해 사용되는 텍스트 마이닝 기법 중 하나이다. 토픽 모델이 할 수 있는 기능은 그림 1처럼 주어진 문서의 집합(Corpus)에 있는 각각의 단어들이 어떠한 주제(Topi..