배워가는블로거

■ [NLP] Tokenizer에 대해 Tokenizer에 대해 간단히 정리해보겠습니다. ● Tokenization 먼저 Tokenization이 무엇인가에 대해 알아야 할 것 같습니다. 간단하게 말하면 Tokenization이란 Text를 여러개의 Token으로 나누는 것을 말합니다. 보통 공백, 구두점, 특수문자 등으로 이를 나누는데요. 그 방법에 따라 다양한 Tokenizer가 있습니다. ● Tokenization 그리고 이런 Tokenization을 하는 것을 Tokenizer라고 합니다.간단한 예로 2가지의 Tokenizer를 보겠습니다. 1. nltk.tokenize의 word_tokenizefrom nltk.tokenize import WordPunctTokenizertarget_se..

■ [용어정리] 활성화 함수(Activation Function)란? 인공지능분야에서 중요한 개념인 활성화 함수란 무엇인지에 대해 정리하고자 합니다. 활성화 함수는 인공지능의 많은 알고리즘에서 다양한 형태로 사용되고 있는데요. 어떠한 활성화 함수를 사용하느냐에 따르 그 출력 값이 달라지기 때문에, 적절한 활성화 함수를 사용하는 것이 매우 중요합니다. 쉽게 말해 활성화 함수란 어떠한 신호를 입력받아 이를 적절한 처리를 하여 출력해주는 함수입니다. 이를 통해 출력된 신호가 다음 단계에서 활성화 되는지를 결정합니다. 그림을 보면 이해가 좀 더 쉬우실 것 같습니다. (출처:http://cs231n.github.io/neural-networks-1/) 위에서 설명한 활성화 함수의 개념을 표현한 식입니다. inpu..

■ [용어정리] 머신러닝의 핫한 용어 정리 (1) 요즘 핫한 머신러닝의 몇 가지 용어를 정리해보고자 합니다. 첫 번째 포스팅에 몇 가지 정리 후 다음 정리할 내용이 쌓이면 그 때 또 하기로하죠 ● 확률적 경사 하강법 (Stochastic Gradient Descent. SGD) 최적의 매개변수 값을 찾기 위해 기울기(미분)을 활용합니다.이 반복을 통해 점점 더 정확한 매개변수 값으로의 갱신합니다.이렇게 단순하고도 어려운 방법을 확률적 경사 하강법이라고 합니다.막연히 매개변수를 찾는 것보다 훨씬 더 정확하고 효율적인 방법이죠. 다만, 비등방성 함수와 같은 형태에서는 탐색경로가 비효율적입니다. ● 가중치(weight)의 초기값 설정 가중치 w값은 다음 레이어로의 출력 값을 결정하는 중요한 요인입니다.그렇기 ..