Go Gradually - Repository

[밑바닥부터 시작하는 딥러닝] LSTM

본 내용은 밑바닥부터 시작하는 딥러닝 2도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 2 - 예스24직접 구현하면서 배우는 본격 딥러닝 입문서 이번에는 순환 신경망과 자연어 처리다! 이 책은 『밑바닥부터 시작하는 딥러닝』에서 다루지 못했던 순환 신경망(RNN)을 자연어 처리와 시계열 데www.yes24.com 망각은 더 나은 전진을 낫는다.- 니체 -RNN의 문제점RNN은 시계열 데이터의 장기 의존 관계를 학습하기 어렵다.BPTT에서 기울기 소실 혹은 기울기 폭발이 일어나기 때문이다. 이번 절에서는 앞장에서 배운 RNN을 복습하고, RNN이 장기기억을 처리하지 못하는 이유를 알아보자.RNN 복습RNN계층은 순환 경로를 갖고 있다.그리고 그 순환을 펼치면 다음과 같이 옆으로 길게 뻗은 신경망이..

본 내용은 밑바닥부터 시작하는 딥러닝 1도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 1 - 예스24딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도록www.yes24.com 매개변수 갱신모험가 이야기어떠한 모험가가 지도와 눈을 가리고 산을 오른다고 상상해보자.모험가는 어떻게 길을 찾을까?발의 감각을 느끼며, 기울기가 산 정상을 향하는 방향을 찾을 것이다.참고) 해당 지점이 진짜 정상이 아니라 작은 언덕일수도 있다.확률적 경사 하강법(SGD)시작하기 전, SGD를 복습해보자.경사 하강법의 매개변수 갱신 기법은 SGD만 있는게 아니다.그러므로 이 SGD를 모듈화하여..