딥러닝: 신경망 기초

다층퍼셉트론

뉴런의 동작 이해를 모방한 초기 인공 신경망 연구 시작 -> 퍼셉트론

 

퍼셉트론

- 구조 : node, weight, layer 과 같은 새로운 개념의 구조 도입

- 제시된 퍼셉트론 구조의 학습 알고리즘을 제안

- 원시적 신경망이지만 깊은 인공신경망을 포함한 인공신경망의 토대

 

퍼셉트론의 구조

- 입력

   - i 번째 노드는 특징 벡터 x의 요소를 담당

   -  항상 1이 입력되는 bias 노드 포함

- 입력과 출력 사이에 연산하는 구조를 가짐

- 출력

   - 한 개의 노드에 의해 수치 출력

 

퍼셉트론의 동작

- 선형 연산 -> 비선형 연산

   - 선형 :  입력값과 가중치를 곱하고 모두 더해 s 를 구함

   - 비선령 : 활성함수를 적용

 

퍼셉트론 2개를 병렬 결합하면 원래 공간을 새로운 큭징 곤강으로 변환

새로운 특징 공간을 선련 분리를 수행하는 퍼셈트론을 순차 결합하면 다층 퍼셉트론이 됨

 

다층 퍼셉트론의 용량

- 일반화하여 p개의 퍼셉트론을 결합하면 p개의 공간으로 변환

 

은닉층의 깊이에 따른 이점

- 지수의 표현

   - 각 은닉층은 입력 공간을 어디서 접을지 지정 -> 지수적으로 많은 선형적인 영역 조각들

- 성능 향상

 

훈련집합

- 특정 벡터 집합 X와 부류 벡터 집합  Y

- 부류 벡터는 단발성 코드로 표현

 

목적함수

- 평균 제곱 오차로 정의

 

오류 역전파 알고리즘의 설계

오류 역전파 

- 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치를 조정하는 방법

 

연쇄 법칙의 구현

- 반복되는 부분식들을 저장하거나 재연산을 최소화

 

미니배치 스토캐스틱 경사 하강법

미니배치 방식

- 한번에 t개의 샘플 처리

- 미니배치 방식은 보통 t = 수시1 ~ 수백

-> 현대 기계 학습은 미니배치 기반의 확률론적 경사 하강법을 표준처럼 여겨 널리 사용