20230818_TIL_머신러닝 : 편향(bias)과 분산(variance)

오늘의 한줄 TIL
Bias(편향)은 Model의 under-fitting과 연관 된 것이고 Variance(분산)은 over-fitting과 연관된 것이다 !

---

Bias & Variance

우선 모델의 복잡도는 parameter가 많을 수록 (비선형 모델일수록) 높아진다.

여기서 모델의 복잡도가 높아지면 성능이 올라 갈 수 있으나, Over-fitting과 Under-fitting의 문제도 같이 온다.

 

두 문제점을 알기 위해서 Bias 와 Variance를 사용하게 된다.

우선 내가 수강하는 유튜브 강의에서는 MSE( total error )를 사용하여 수식을 전개하며 설명해줬다.

MSE를 통해 Bias와 Variance를 전개한 방식은 위와 같다.

 

1번 줄의 수식은 수학적으로 접근 할 때 + 와 -를 이용하여 상쇄를 한 것

2번 줄의 수식은 두 항의 제곱 식으로 나눈 것

3번 줄의 수식은 평균의 분배법칙을 이용한 것 

4번 줄에서는 중괄호가 의미하는 것은 평균의 평균은 평균이기 때문에 0으로 중간 식이 사라진다는 의미

최종적으로 5번줄의 수식이 의미 하는 것이 Variance와 Bias이다.

즉 Bias는 예측값(seta hat)에서 정답(seta) 를 빼줌으로서
찾고자 하는 Parameter에 얼마나 떨어져 있는지를 알려주게 된다.

 

Variance는 예측값에서 예측값의 평균 값을 빼고 평균을 구하는 흔히 알고 있는

데이터의 퍼짐 정도를 알려주는 통계에서의 분산이랑 동일하다

이러한 정보를 가지고 흔히 Bias와 Variance를 배울 때 보는 사진인 표적판 사진을 보면

더 쉽게 이해가 된다. (원형 중앙에 가까우면 위 그래프에서 seta에 가깝다고 생각하면 된다!)

이러한 Variance와 Bias의 정보를 이용하여 머신러닝과 딥러닝의 전반적인 Trade - Off 그래프를 그릴 수 있는데

해당 그림이 Trade-Off 그래프이다. 

여기서 우리는 Model의 복잡도를 늘리게 되면 Bias가 낮아지게 되어 Train data에 과적합이 되면서

예측값의 범위가 넓어지는 Variance의 값의 증가를 볼 수 있게 된다. 
즉, 모델의 복잡도를 무조건 올리는 것이 정답은 아니라는 의미인 듯 하다...

 

따라서 최적의 Model을 선택하는 것도 실험자의 Hyper Parameter가 된다고 한다.

---

reference site & image source

1. 수식 이미지 참조

2. Bias & Variance 이미지 참조

3. 수강한 유튜브 강의