• 목록

미분의 유도과정을 못한다고 머신러닝이라는 과목을 범접할 수 없다거나 그런건 아닌것 같다
단지  gradient descent 같은 아이디어를 생각해내려면 미분이 뭔지 알아야 하는 것이다.

앞에서 함수 f는 다음과 같이 정의하였다. 

e는 자연상수 e이며 그냥 단순히 sigmoid 함수에 x값으로 g(Xd)를 넣으면 되는 함수이다(말그대로 sigmoid 함수라는 뜻) 

자연상수 e는 미분과정에서 자세히 설명하도록 하겠다(어차피 얘도 미분해야됨)

앞에서 정의한 함수들을 다시 살펴보자

일 때,

를 구하면 되는데, 그러려면 미분을 해야한다. 

도함수를 구해서 새로운 함수를 만들어보자

쓰기 쉽게 앞자리만 적도록 하겠다.

그렇다면 여기서 해야할거는 chain rule을 이용하여 식을 다시 전개하는것이다.

함수 L은 합성함수이므로 합성함수의 미분법 (chain rule)은 다음과 같다

합성함수의 미분법에 따라 전개식은 다음과 같다 

하지만 함수 f도 함수 g에 관한 합성함수이므로 다음과 같이 유도가 가능하다

그러면 첫 번째 

을 풀어보면

는 다음과 같이 절대값 함수의 미분이다. 

그럼 절대값 함수(Derivatives of Absolute Value Functions)에 관한 미분법은 다음과 같다

적용하여 다시 풀어보면 

다음은 

를 풀어보자
더 자세한 설명은 다음 사이트를 참고한다.

https://towardsdatascience.com/derivative-of-the-sigmoid-function-536880cf918e

아무튼 sigmoid 함수( 함수 f )를 미분해보면 다음과 같은 결과가 나온다

여태까지 했던 내용을 바탕으로 식을 다시 전개해보면

으로 전개되고 결국엔 다음과 같이 나타난다.

마지막 남은 함수 g의 미분은 

마지막으로 다시 식을 전개하면

그렇다면 d번째 w값의 update은 다음과 같다

참고.

https://highsg.tistory.com/37?category=772332