20230821_TIL_미분의 의미, 자연 상수(e)의 의미 Deep

공돌이의 수학노트 {여동훈}님 덕분에 많은 정보를 압축하여 알 수 있어서 감사드립니다 :) 

 

오늘의 한 줄 TIL : 자연 상수를 사용하는 이유는 최대 성장률과 미분 시 그대로를 유지 하기 때문이다.

---

 

머신 러닝의 초입에서 분류{Classification}을 수행하는데 sigmoid라는 Activation function을 사용하는데

Sigmoid의 수식이 아래와 같다.

$$ sigmoid = \frac{1}{1 +{e^{-x}}} $$

해당 식을 이해하기 위해서 자연 상수인 e에 대해서 알아보았다.

 

우선 자연 상수의 가장 중요한 점은 지수함수에서 미분 시 자기 자신을 내뱉는다는 점이다.

$$ y = e^{x}  \quad  y^{'} = e^{x}$$

 

이 점을 이해하기 위해서 먼저 미분에 대해서 알아보았다.

---

미분이란?

미분은 점 - 선 - 면 - 입체가 미적분과 유사하여 만들어진 단어이다.

미분을 풀어서 설명하면 "미세한 부분"이라고 할 수 있다. 

즉, 점이 무수히 많으면 선이 되는 것 처럼 선을 미분하면 점이 된다는 의미이다.

 

미분의 영어적 표현은 differentation 혹은 differential 이라고 한다,

두 단어 모두 { differentiate : 차이를 두다 } 라는 단어에서 파생된 단어이다.

 

differentation은 명사형 , differential은 동사형으로 표현이된다.differentation은 위에서 설명한 미분이라는 뜻을 설명하는 것이고,differential은 원함수의 선형근사 함수를 의미한다고 한다..

 

differential의 개념이 따로 필요했던 이유는
1. 일변수(1) 함수에서는 변화하는 방향을 고려하지 않아도 되지만, 이변수{2} 함수{3차원}에서는    서로 다른 방향으로 무수히 많은 방향을 고려해야 하기 때문이라고 한다.

 

[여기 까지 찾아보는데 너무 많이 모르는 용어를 접해서 일단 멈추고 자연상수에 대해서 알아보았다]

---

자연 상수 e에 대하여

자연 상수 e는 자연의 연속 성장을 표현하기 위해서 고안된 상수 라고 한다.

즉, 100% 성장률을 가지고 1회 연속 성장할 때 가질 수 있는 최대 성장량 이라고 표현한다.

그림으로 표현하면 아래의 그림과 같다.

그림 1. 1년 뒤 100% 성장하는 마법의 저금통

그림 2. 6개월에 50%씩 성장하는 마법의 저금통

이를 수식으로 나타내면 아래와 같다.

$$ \lim_{x \to \infty }  { (1+{\frac{1}{x}}) }^{x}$$

여기서 x 변수가 의미하는 것은 성장 횟수 x 성장률 이다.

 

1년에 A라는 수치로 성장했다는 것을 알고 있다면 아래와 같으며

$$ A = e^{성장 횟수 * 성장률}$$

여기서 성장횟수 와 성장률만 얻어내고 싶다면 자연 로그를 통해서 얻을 수 있다.

$$ ln(A) = 성장 횟수 * 성장률 $$

 

 

 

다음으로 자연 상수를 밑으로 같는 지수함수를 미분 시 그대로인 이유에 대해서 알아보자

어떠한 지수 함수 y가 있다고 하자.

이 함수 y를 미분했을 때, 자기 자신을 반환한다고 가정을 해보고 수식으로 표현해보자

$$ \frac{dy}{dx} = y $$

 

해당 식을 dy와 y를 같은 변으로 옮기게 되면 다음 식으로 변환이 된다.

$$ \frac{1}{y}dy = dx $$

이후 양변에 적분을 취하게 되면 아래와 같은 식으로 변하게 된다.

$$ \int \frac{1}{y}dy = \int dx $$

여기서 좌변의 식은 ln(y)의 정의와 같은 것이므로 좌변은 ln(y)로 표현이 된다.

우변은 상수1의 적분으로 x를 반환하게 된다 [ 더 명확하게 하면 x + c 가 된다 ]

$$ ln(y) = x$$

 

ln은 밑이 자연 상수인 log를 의미하며, y의 값에 무엇을 넣어야 x가 되는지는

e^x 라는 자연 상수의 지수함수 밖에 없게 된다.

 

그리하여 자연 상수를 밑으로 하는 지수 함수의 미분 값은 자기 자신 그대로 나오게 된다.

 

---

- 상수를 적분하면 x ( x + c)가 나오는 이유

 

나중에 다시 더 공부해야 할 내용

- 적분이 의미하는 것 [부분을 적재한다..(?) 는 것만 알게 됨]

- sigmoid와 softmax에서 자연상수를 사용하는 이유가 미분 때문인지

- 1/y를 적분 한 것이 어떻게 ln(y)가 되게 된 것인지

 

reference site:

1. 공돌이의 수학정리노트 - 자연상수 e에 대하여

2. 나무위키 - 미분

3. 상수의 적분이 왜 x가 되는 건지

4. 나무위키 - 적분