손실 함수 2

[밑바닥부터 시작하는 딥러닝] 역전파

사실 이번 장에서는 밑바닥부터 시작하는 딥러닝 1의 경우 계산 그래프를 이용해 설명을 진행한다.해당 방식의 경우 그래프 개념으로 이해하기 쉽게 설명되어 있지만, 기계적인 암기 방법이라 시간복잡도 개선에 대한 인사이트를 얻긴 쉽지 않았다.따라서 이번 장의 내용은 책의 내용이 아닌 수식으로 정리한 방식으로 설명을 진행한다.계산 그래프와 시각 자료를 이용한 설명이 필요하시다면, 해당 책을 구입하셔서 보시는 것을 추천드립니다. 책 내용도 좋습니다.기존 방식먼저 들어가기 전에, 기존 방식의 문제점을 파악해보자.식 정리모델이 갖고 있는 가중치의 집합을 θ라 하자.아래를 "특정 y에 대한 손실 함수"라고 하자.전체 우리가 최소화하고자 하는 전체 손실 함수(Cost function)은 다음과 같이 표현될 것이다.수식에..

[밑바닥부터 시작하는 딥러닝] 신경망 학습

본 내용은 밑바닥부터 시작하는 딥러닝 1도서를 참고하여 작성되었습니다. 밑바닥부터 시작하는 딥러닝 1 - 예스24딥러닝 분야 부동의 베스트셀러!머리로 이해하고 손으로 익히는 가장 쉬운 딥러닝 입문서이 책은 딥러닝의 핵심 개념을 ‘밑바닥부터’ 구현해보며 기초를 한 걸음씩 탄탄하게 다질 수 있도록www.yes24.com 본 글은 선형 회귀와 로지스틱 회귀를 배경 지식으로 작성되었습니다.만약 읽다가 이해가 되지 않는 부분이 있다면, 해당 글들을 읽어 주시기 바랍니다.이전 장에서 우리는 신경망을 이용한 "추론"을 학습했다.하지만 여전히, 2장에서 해결하지 못한 "학습"의 영역은 해결하지 못했고, 가중치를 우리가 직접 설정해주고 추론을 수행했다.이번 장에서는 학습의 핵심 키인 "손실함수"와 최적의 손실 함수를 탐..