[AWS] Amazon Kinesis Data Firehose (1) - 개념 정리

Amazon Kinesis Data Firehose에 대한 개념과 활용 예시에 대해 정리해보고자 합니다.

 

AWS에 정의된 내용에 따르면,

Amazon Kinesis Data Firehose는 스트리밍 데이터를 안정적으로 캡처하고 전환하여 데이터 레이크, 데이터 스토어, 분석 서비스에 전달하는 추출, 전환, 적재(ETL) 서비스입니다.

 

보다 이해하기 쉽게 아래 그림을 보면 좋을 것 같습니다.

출처 : aws.amazon.com

여러 Input Data를 받아 바로 스트리밍으로 처리할 수도 있고,

 

AWS Lambd와 함께 활용하여 데이터를 변환 후 처리할 수 도 있습니다.

 

그리고 해당 데이터들은 S3, Redshift 등 AWS Serveice로 보내서 처리되며, 해당 데이터를 활용하여 최종 Output이 나오게 됩니다.

 

몇 가지 활용 예시가 있는데, 그 중 데이터 레이크 (Data Lake) 구축을 한번 진행해보려 합니다.

 

서비스로 부터 실시간 데이터를 받아 이를 Firehose가 처리하여 S3로 저장하려합니다.

 

그리고 S3에 쌓인 데이터를 활용하여 인공지능 학습을 위한 학습데이터로 활용해볼 수 있을 것 같습니다. 

 

간단한 구성도는 아래와 같고, 이후 글에서 AWS 설정과 예제 코드를 함께 작성해보겠습니다.

 

감사합니다.