확률론
-딥러닝은 확률론 기반의 기계학습 이론에 바탕을 둠
-손실 함수의 작동원리는 데이터 공간을 통계적으로 해석해서 유도함
ex) 회귀분석의 L2-노름 - 예측 오차의 분산을 가장 최소화하는 방향으로 학습
분류문제에서의 교차 엔트로피 - 모델 예측의 불확실성을 최소화하는 방향으로 학습
-분산 및 불확실성을 최소화하는 측정 방법을 알기 위해서는 확률론을 이해해야 한다.
확률변수
-무작위 실험을 했을 때 특정 결괏값을 수치적 값을 표현하는 변수
ex) 동전을 던졌을 때 결과에 실수 값(앞=1 뒤=0)을 부여하는 변수
-확률분포 D에 따라 이산형과 연속형으로 구분
***확률분포 : 확률변수의 모든 값과 이에 대응하는 확률들이 어떻게 분포되어있는지
이산 확률변수
-확률 변수가 취할 수 있는 값이 유한하거나 하나씩 셀 수 있는 경우
ex) 주사위 던지기, 동전 던지기
-확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해서 모델링
연속형 확률변수
-확률변수가 연속적인 구간 내의 값을 취하는 경우
ex) 온도, 무게, 거리
-데이터 공간에 정의된 확률변수의 밀도 위에서의 적분을 통해 모델링
주어진 데이터에 모양을 보고 적절하게 모델링해야 한다.
주변 확률분포
***P(x)는 y에 대한 정보를 주지는 않는다.
조건부 확률분포
-주어진 클래스에 대해서 각각의 x의 분포를 살펴보기 위해서는 조건부 확률분포를 보는 것이 더 명확
조건부 확률 P(y l x) - 입력 변수 x일 때 정답이 y일 확률
***연속 확률분포에서는 확률이 아니고 밀도이다.
분류 문제
-선형 모델과 소프트맥스 함수의 결합
-데이터로부터 추출된 패턴을 기반으로 확률을 해석하는 데 사용
-분류 문제에서 softmax는 데이터 x로부터 추출된 특징 패턴과 가중치 행렬을 통해 조건부 확률 P(ylx)을 계산
회귀 문제
-조건부 기댓값 E(y l x)을 추정
***조건부 기댓값을 사용하는 이유
기대값
-어떤 확률을 가진 사건을 무한히 반복했을 때 얻을 수 있는 값의 평균
-데이터를 대표하는 통계량
-확률분포를 통해 다른 통계적 범함수를 계산하는 데 사용(분산, 첨도, 공분산 등)
몬테카를로 샘플링
-확률분포를 명시적으로 모를 때 사용
-독립 추출만 보장하면 대수의 법칙에 의해 수렴성을 보장
f(x)에 샘플링한 데이터를 대입 후 산술평균값을 구함
-샘플 사이즈가 적으면 오차가 커짐
@@@각 개념에 대한 예시@@@
