배워가는블로거

■ [용어정리] 활성화 함수(Activation Function)란? 인공지능분야에서 중요한 개념인 활성화 함수란 무엇인지에 대해 정리하고자 합니다. 활성화 함수는 인공지능의 많은 알고리즘에서 다양한 형태로 사용되고 있는데요. 어떠한 활성화 함수를 사용하느냐에 따르 그 출력 값이 달라지기 때문에, 적절한 활성화 함수를 사용하는 것이 매우 중요합니다. 쉽게 말해 활성화 함수란 어떠한 신호를 입력받아 이를 적절한 처리를 하여 출력해주는 함수입니다. 이를 통해 출력된 신호가 다음 단계에서 활성화 되는지를 결정합니다. 그림을 보면 이해가 좀 더 쉬우실 것 같습니다. (출처:http://cs231n.github.io/neural-networks-1/) 위에서 설명한 활성화 함수의 개념을 표현한 식입니다. inpu..

■ [용어정리] 머신러닝의 핫한 용어 정리 (1) 요즘 핫한 머신러닝의 몇 가지 용어를 정리해보고자 합니다. 첫 번째 포스팅에 몇 가지 정리 후 다음 정리할 내용이 쌓이면 그 때 또 하기로하죠 ● 확률적 경사 하강법 (Stochastic Gradient Descent. SGD) 최적의 매개변수 값을 찾기 위해 기울기(미분)을 활용합니다.이 반복을 통해 점점 더 정확한 매개변수 값으로의 갱신합니다.이렇게 단순하고도 어려운 방법을 확률적 경사 하강법이라고 합니다.막연히 매개변수를 찾는 것보다 훨씬 더 정확하고 효율적인 방법이죠. 다만, 비등방성 함수와 같은 형태에서는 탐색경로가 비효율적입니다. ● 가중치(weight)의 초기값 설정 가중치 w값은 다음 레이어로의 출력 값을 결정하는 중요한 요인입니다.그렇기 ..