RNN :
RNN의 은닉층에 과거 정보를 압축해 저장하는 역할을 하고, 이 정보가 다음 시간 단계로 다시 입력되어 순환되므로 연속된 데이터를 통해 음성, 텍스트, 시계열과 같이 순서가 중요한 데이터에서 시간에 따른 문맥과 패턴 파악
RNN 문제점 :
RNN이 먼 과거의 데이터를 제대로 기억하지 못하고 주로 최신 데이터에만 반응하며, 전통적인 역전파 방식은 가중치 크기에 따라 커지거나( Exploding Gradient )사라지는( Vanishing Gradient ) 문제가 존재함. 이로 인해 긴시간, 오랜 학습을 수행하면 문제가 발생
Vanishing Gradient 문제 이유
역전파 과정에 사용되는 활성화 함수가 sigmoid or tahn 함수인데 이의 미분값이 0~1이기때문에 반복할수 지수적으로 작아짐
즉 가중치가 0이될수있음.
이를 해결하기위한 방법으로 LSTM 제시
