딥러닝 기초
기계 학습의 정의
현대적 정의
- 경험을 통해 주어진 작업에 대한 성능 향상
기계 학습과 전통적인 프로그래밍의 비교
전통적인 프로그래밍
- 입력 + 프로그램 = 결과
기계 학습
- 입력 + 이상적인 결과 = 프로그램
기계학습의 필수요소
- 학습할 수 있는 데이터
- 데이터 규칙 존재
- 수학적으로 설명 불가능
표현 학습
- 좋은 특징 공간을 자동으로 찾는 작업
심층 학습
- 표현 학습의 하나로 다수의 은닉층을 가진 신경망을 이용하여 최적의 계층적인 특징을 학습
과소적합과 과잉적합
과소적합
- 모델의 용량이 작아 오차가 클 수 밖에 없는 현상 -> 비선형 모델 사용
과잉적합
- 12차 다항식 곡선을 채택한다면 훈련집합에 대해 거의 완벽하게 근사 하지만 새로운 데이터를 예측할 때 문제 발생
- 모델의 용량이 크기 때문에 잡음까지 수용
-> 적절한 용량의 모델을 선택하는 모델 선택 작업 필요
편향과 분산
2차는 매번 큰 오차 -> 편향이 큼, 비슷한 모델 얻음 -> 낮음 변동
12차는 매번 작은 오차 -> 편향 작음, 크게 다른 모델 얻음 -> 높은 변동
일반적으로 용량이 작은 모델은 편향이 크고 분산이 작음, 복잡한 모델은 편향이 작고 분산이 큼
-> 편향이 작고 분산이 작은 예측 모델을 만드는 것이 목표
지도 방식에 따른 유형
지도 학습
- 특정 벡터 x와 목표치 y가 모두 주어진 상황
- 회귀와 분류 문제로 구분
비지도 학습
- 특징 벧터 x는 주어지는 데 목표지 y가 주어지지 않는 상황
- 군집화 과업
- 밀도 추정, 특징 공간 변환 과업
강화 학습
- 목표치가 주어지는데, 지도학습과 다른 형태(= 보상)
준지도 학습
- 일부는 x와 y를 모두 가지지만, 나머지는 x만 가진 상황
- 최근, 대부분의 데이터가 x의 수집은 쉽지만, y는 수작업이 필요하여 최근 중요성 부각