배워가는블로거

지난 글에서 LlamaIndex를 다뤘으니, 이번에는 자연스럽게 비교되는 LangChain 정리를 해보겠습니다. ▶️ LangChain은 무엇인가?우선 LangChain의 개념에 대해서 간단히 정리하고 가면 좋을 것 같습니다. LangChain은 LLM 기반 애플리케이션을 쉽게 만들 수 있도록 도와주는 프레임워크입니다.GPT 같은 모델이 단순 대화를 넘어서 검색, API 호출, 데이터 분석, 업무 자동화까지 할 수 있게 해주는 역할을 합니다. 얼핏보면 LlamaIndex와 비슷한 기능을 하고 있따고 볼 수 있는데요.할 수 있는 기능이 더 많아서 LangChain이 무조건 좋은거 아닌가?! 라고 생각이 들 수 있을 것 같습니다. 하지만 각 강점과 여기서 오는 차이점있는데요.먼저, LlamaIndex는 데이..

최근 ChatGPT 같은 LLM을 활용할 때 가장 많이 쓰이는 개념 중 하나가 RAG (Retrieval-Augmented Generation) 입니다.그리고 여기서 핵심 역할을 해주는 라이브러리 중 하나가 바로 LlamaIndex입니다.오늘은 LlamaIndex가 무엇이고, 어떻게 활용할 수 있을지에 대해 간단히 정리해보겠습니다.(https://www.llamaindex.ai/) ▶️ RAG 를 먼저 정리해보자RAG의 개념을 먼저 정리해보고 넘어가면 좋을 것 같습니다.간단히 말해, LLM이 답변을 만들 때 외부 지식을 검색해서 가져온 뒤, 그 자료를 바탕으로 답변을 생성하는 방법이에요. 이게 왜 필요할까요?- 해당 시점에 LLM이 가진 데이터가 최신 데이터가 아닐 수 있습니다. (학습 시점 이후 업데이..

■ [NLP] Tokenizer에 대해 Tokenizer에 대해 간단히 정리해보겠습니다. ● Tokenization 먼저 Tokenization이 무엇인가에 대해 알아야 할 것 같습니다. 간단하게 말하면 Tokenization이란 Text를 여러개의 Token으로 나누는 것을 말합니다. 보통 공백, 구두점, 특수문자 등으로 이를 나누는데요. 그 방법에 따라 다양한 Tokenizer가 있습니다. ● Tokenization 그리고 이런 Tokenization을 하는 것을 Tokenizer라고 합니다.간단한 예로 2가지의 Tokenizer를 보겠습니다. 1. nltk.tokenize의 word_tokenizefrom nltk.tokenize import WordPunctTokenizertarget_se..

■ [Ai] Prophet 적용 #2 - 실제 데이터로 예측하기 지난 포스팅을 통해 삼성전자의 주식 데이터를 구했었습니다. 그럼 이 삼성전자의 주식데이터를 바탕으로 실제 예측을 해보겠습니다. 앞서 Prophet 튜토리얼을 진행하며 블로그 방문자수 데이터를 바탕으로 다양한 피쳐들을 적용시키면서 저만의 모델을 만들었는데요. 이 모델이 주식데이터 예측에도 잘 사용될 수 있을지 확인해보겠습니다. 이번 포스팅에서는 단순히 데이터를 입력하여 앞으로의 결과를 예측해보고, 간단하게 결과를 분석해보겠습니다. 모델에 대한 튜닝 및 다른 피쳐 적용 등은 그 이후 포스팅에서 진행 예정입니다. ● 주식 데이터 입력 지난 포스팅에서 삼성전자의 주가 데이터를 구했었습니다. 자세한 내용은 아래 포스팅을 참고하시면 되겠습니다.http..

■ [Ai] Prophet 적용 #1 - 데이터 구하기 Prophet에 대해서 해당 git blog를 보며 튜토리얼을 진행했습니다. 이제 그 과정을 마쳤으니 우리 주변에 있는 실제 시계열 데이터를 활용해보려고 합니다. 우리 주변에서 가장 흥미 있는 시계열 데이터이고, 그 추세가 매일 급변하는 데이터인 주식 데이터를 활용해보고자 합니다. 그럼 먼저 주식 데이터를 구해야 하는데요. 간단한 파이썬 코드를 통해 쉽게 구할 수 있습니다. 파이썬 웹 크롤링에 많이 사용되는 BeautifulSoup 라이브러리를 사용했습니다.https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 그리고 아래 다음 금융 페이지가 데이터를 크롤링 할 대상 페이지 입니다.http://finance..

■ [Ai] Prophet Tutorial #8 - Non-Daily Data 오늘은 Prophet 8번째 포스팅입니다. 주제는 Non-Daily Data입니다.https://facebook.github.io/prophet/docs/non-daily_data.html Non-Daily Data 또한 Prophet에서 다룰 수 있다는 것에 대한 설명입니다. 이러한 것도 가능하다고 이해하면서 진행하면 될 것 같습니다. ● Sub-daily data Prophet은 YYYY-MM-DD HH:MM:SS 형식의 Timestamp 포맷에 대해서도 시계열 예측이 가능하다고 합니다. 실제 예제로 보여주는 데이터 형식은 아래와 같습니다. 5분단위의 데이터입니다. 요세미티의 일일 기온이라고 하네요https://github..

■ [Ai] Prophet Tutorial #7 - Outliers 오늘은 Prophet 7번째 포스팅입니다. 주제는 Outliers입니다.https://facebook.github.io/prophet/docs/outliers.html Outliers를 다루는 방법에 대해 살펴보도록 하겠습니다. Outliers는 크게 2가지 경우에서 적용할 수 있습니다. 먼저 첫 번째 경우는 docs의 예제를 통해 살펴보겠습니다. ● Outliers (1) 먼저 위와 같은 예측 그래프가 있다고 합시다. Prophet의 예측이 정확한 것 같지만, 끝지점에 보이는 Uncertainty Intervals의 크기가 너무 크게 설정이 되어있습니다. 이유는 2010년의 너무 간격이 큰 데이터 값으로 인해 후대의 예측 값까지 지속적..

■ [Ai] Prophet Tutorial #6 - Uncertainty Intervals 오늘은 Prophet 튜토리얼의 여섯 번째 포스팅입니다. 오늘의 주제는 Uncertainty Intervals 입니다.https://facebook.github.io/prophet/docs/uncertainty_intervals.html Uncertainty Intervals란 불확실성의 범위라고 보시면 됩니다. 그래서 앞서 다른 예제에서 살펴본 예측 값에는 yhat_lower, yhat_upper라는 값이 있었죠. 이 값은 yhat의 가장 낮은 값과 가장높은 값을 뜻했습니다. 즉 yhat은 예측 값의 범위라고 이해하면 될 것 같습니다. ● Uncertainty in the trend 기본적으로 Prophet은 이..

■ [Ai] Prophet Tutorial #5 - Multiplicative Seasonality 오늘은 Prophet 튜토리얼의 다섯 번째 포스팅입니다. 오늘의 주제는 Multiplicative Seasonality 입니다.https://facebook.github.io/prophet/docs/multiplicative_seasonality.html Multiplicative라는 말은 사전적으로 '증가하는, 곱셈의, 배수사의' 라는 뜻입니다. 즉 단순한 seasonality가 아닌 점진적으로 증가하는 seasonality를 다룰 때 사용하는 피쳐입니다. 모든 모델에서 필요한 것은 아니지만 특정 모델에서 매우 유용할 것으로 보입니다. 튜토리얼에서는 항공 승객을 예측하는 모델에 사용했다고 하는데요. 1년..

■ [Ai] Prophet Tutorial #4 - Seasonality, Holiday Effects And Regressors벌써 Prophet 튜토리얼 네 번째 포스팅입니다. 오늘의 주제는 Seasonality, Holiday Effects And Regressors 입니다.https://facebook.github.io/prophet/ 오늘의 제목은 꽤 기네요. 그만큼 많고 중요한 내용이 들어있는 것 같습니다. 하나씩 살펴보겠습니다. ● Modeling Holidays and Special Events 첫 번째는 Holidays나 특별한 Events를 설정하여 해당 일자에 특별성을 부여해줍니다. 아마도 해당 일자에는 비슷한 특성을 주어 예측하는데 도움이 되도록 할 것 같습니다. 이를 위해서는 Da..