배워가는블로거

■ [NLP] Tokenizer에 대해 Tokenizer에 대해 간단히 정리해보겠습니다. ● Tokenization 먼저 Tokenization이 무엇인가에 대해 알아야 할 것 같습니다. 간단하게 말하면 Tokenization이란 Text를 여러개의 Token으로 나누는 것을 말합니다. 보통 공백, 구두점, 특수문자 등으로 이를 나누는데요. 그 방법에 따라 다양한 Tokenizer가 있습니다. ● Tokenization 그리고 이런 Tokenization을 하는 것을 Tokenizer라고 합니다. 간단한 예로 2가지의 Tokenizer를 보겠습니다. 1. nltk.tokenize의 word_tokenize from nltk.tokenize import WordPunctTokenizer target_sen..

■ [Ai] Prophet 적용 #2 - 실제 데이터로 예측하기 지난 포스팅을 통해 삼성전자의 주식 데이터를 구했었습니다. 그럼 이 삼성전자의 주식데이터를 바탕으로 실제 예측을 해보겠습니다. 앞서 Prophet 튜토리얼을 진행하며 블로그 방문자수 데이터를 바탕으로 다양한 피쳐들을 적용시키면서 저만의 모델을 만들었는데요. 이 모델이 주식데이터 예측에도 잘 사용될 수 있을지 확인해보겠습니다. 이번 포스팅에서는 단순히 데이터를 입력하여 앞으로의 결과를 예측해보고, 간단하게 결과를 분석해보겠습니다. 모델에 대한 튜닝 및 다른 피쳐 적용 등은 그 이후 포스팅에서 진행 예정입니다. ● 주식 데이터 입력 지난 포스팅에서 삼성전자의 주가 데이터를 구했었습니다. 자세한 내용은 아래 포스팅을 참고하시면 되겠습니다.http..

■ [Ai] Prophet 적용 #1 - 데이터 구하기 Prophet에 대해서 해당 git blog를 보며 튜토리얼을 진행했습니다. 이제 그 과정을 마쳤으니 우리 주변에 있는 실제 시계열 데이터를 활용해보려고 합니다. 우리 주변에서 가장 흥미 있는 시계열 데이터이고, 그 추세가 매일 급변하는 데이터인 주식 데이터를 활용해보고자 합니다. 그럼 먼저 주식 데이터를 구해야 하는데요. 간단한 파이썬 코드를 통해 쉽게 구할 수 있습니다. 파이썬 웹 크롤링에 많이 사용되는 BeautifulSoup 라이브러리를 사용했습니다.https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 그리고 아래 다음 금융 페이지가 데이터를 크롤링 할 대상 페이지 입니다.http://finance..

■ [Ai] Prophet Tutorial #8 - Non-Daily Data 오늘은 Prophet 8번째 포스팅입니다. 주제는 Non-Daily Data입니다.https://facebook.github.io/prophet/docs/non-daily_data.html Non-Daily Data 또한 Prophet에서 다룰 수 있다는 것에 대한 설명입니다. 이러한 것도 가능하다고 이해하면서 진행하면 될 것 같습니다. ● Sub-daily data Prophet은 YYYY-MM-DD HH:MM:SS 형식의 Timestamp 포맷에 대해서도 시계열 예측이 가능하다고 합니다. 실제 예제로 보여주는 데이터 형식은 아래와 같습니다. 5분단위의 데이터입니다. 요세미티의 일일 기온이라고 하네요https://github..

■ [Ai] Prophet Tutorial #7 - Outliers 오늘은 Prophet 7번째 포스팅입니다. 주제는 Outliers입니다.https://facebook.github.io/prophet/docs/outliers.html Outliers를 다루는 방법에 대해 살펴보도록 하겠습니다. Outliers는 크게 2가지 경우에서 적용할 수 있습니다. 먼저 첫 번째 경우는 docs의 예제를 통해 살펴보겠습니다. ● Outliers (1) 먼저 위와 같은 예측 그래프가 있다고 합시다. Prophet의 예측이 정확한 것 같지만, 끝지점에 보이는 Uncertainty Intervals의 크기가 너무 크게 설정이 되어있습니다. 이유는 2010년의 너무 간격이 큰 데이터 값으로 인해 후대의 예측 값까지 지속적..

■ [Ai] Prophet Tutorial #6 - Uncertainty Intervals 오늘은 Prophet 튜토리얼의 여섯 번째 포스팅입니다. 오늘의 주제는 Uncertainty Intervals 입니다.https://facebook.github.io/prophet/docs/uncertainty_intervals.html Uncertainty Intervals란 불확실성의 범위라고 보시면 됩니다. 그래서 앞서 다른 예제에서 살펴본 예측 값에는 yhat_lower, yhat_upper라는 값이 있었죠. 이 값은 yhat의 가장 낮은 값과 가장높은 값을 뜻했습니다. 즉 yhat은 예측 값의 범위라고 이해하면 될 것 같습니다. ● Uncertainty in the trend 기본적으로 Prophet은 이..

■ [Ai] Prophet Tutorial #5 - Multiplicative Seasonality 오늘은 Prophet 튜토리얼의 다섯 번째 포스팅입니다. 오늘의 주제는 Multiplicative Seasonality 입니다.https://facebook.github.io/prophet/docs/multiplicative_seasonality.html Multiplicative라는 말은 사전적으로 '증가하는, 곱셈의, 배수사의' 라는 뜻입니다. 즉 단순한 seasonality가 아닌 점진적으로 증가하는 seasonality를 다룰 때 사용하는 피쳐입니다. 모든 모델에서 필요한 것은 아니지만 특정 모델에서 매우 유용할 것으로 보입니다. 튜토리얼에서는 항공 승객을 예측하는 모델에 사용했다고 하는데요. 1년..

■ [Ai] Prophet Tutorial #4 - Seasonality, Holiday Effects And Regressors벌써 Prophet 튜토리얼 네 번째 포스팅입니다. 오늘의 주제는 Seasonality, Holiday Effects And Regressors 입니다.https://facebook.github.io/prophet/ 오늘의 제목은 꽤 기네요. 그만큼 많고 중요한 내용이 들어있는 것 같습니다. 하나씩 살펴보겠습니다. ● Modeling Holidays and Special Events 첫 번째는 Holidays나 특별한 Events를 설정하여 해당 일자에 특별성을 부여해줍니다. 아마도 해당 일자에는 비슷한 특성을 주어 예측하는데 도움이 되도록 할 것 같습니다. 이를 위해서는 Da..

■ [Ai] Prophet Tutorial #3 - Trend ChangePoints오늘은 Prophet 튜토리얼 세 번째 포스팅입니다. 오늘의 주제는 Trend Changepoints 입니다.https://facebook.github.io/prophet/docs/trend_changepoints.html ● Trend ChangePoints 앞서 Prophet으로 예측한 결과의 그래프를 보면 그 트렌드가 변경하는 지점이 있었습니다 Prophet은 기본적으로 이러한 트렌드가 변경하는 지점을 자동으로 감지하여 트렌드를 예측한다고 합니다. 하지만 이를 사용자가 직접 세밀하게 제어할 수 있는데요. 이러한 Trend ChangePoints에 대해서 알아보고 이를 어떻게 제어할 수 있는지 튜토리얼을 진행하며 살펴..

■ [Ai] Prophet Tutorial #2 - Saturating Forecasts오늘은 Prophet의 두 번째 튜토리얼은 진행해보겠습니다. 오늘의 주제는 Saturating Forecasts 입니다.https://facebook.github.io/prophet/docs/saturating_forecasts.html ● Saturating Forecasts Prophet의 Logistic growth를 사용하여 트렌드를 예측을 할 때, 그 예측치의 최대 상한값과 하한값을 제어하고자 할 때 사용합니다. Prophet은 Linear한 모델을 사용하기 때문에 이를 제어하지 않는다면 해당 카테고리의 최대 사이즈를 넘을 수 있기 때문입니다. 전체 시장 크기, 전체 인구 수 등 이미 정해진 최대치를 넘어설 ..