[AWS] Amazon Kinesis Data Firehose (2) - Stream 생성

이번 포스트에서는 스트림 생성에 대해서 간략히 정리해보겠습니다.

 

그리고 코드에서 직접 데이터를 수집하는 예제를 진행해보겠습니다.

 

먼저 Kinesis Data Firehose (KDF) 작동방식은 아래 그림과 같습니다.

 

일단 첫 번째로는 소스 및 대상 선택을 해야합니다.

 

소스는 Amazon Kinesis Data Streams과 Direct PUT 중에 선택할 수 있습니다.

 

저희는 코드에서 직접 데이터를 수집하는 예제를 진행해보려고 하고 있으니, Direct PUT을 선택하였습니다.

 

그리고 수집된 데이터는 S3에 저장을 할 예정이므로, 대상에는 Amazon S3를 선택했습니다.

 

이어서 스트림 이름과 변형 및 변환에 대해 설정하게 되는데, 따로 변형 및 변환은 필요하지 않아 활성화 체크를 하지 않았습니다.

 

다음으로는 저장할 대상에 대한 정보를 설정합니다.

S3 버킷에 대한 정보를 선택하고,

 

접두사를 추가하여 S3버킷의 특정 위치(폴더)로 지정할 수 있습니다.

 

그 외 별도 추가가 없다면 날짜와 시간단위로 하위 폴더가 구분되어 생성됩니다.

 

ex) data/2023/01/13/00

 

 

그 다음 설정해야 할 부분이 어떻게보면 가장 중요한 부분인 것 같은데요.

 

버퍼의 크기와 간격을 설정할 수 있습니다. 최대한 빠르게 수집되길 원하신다면 최소값인 60초로 설정하면 됩니다.

 

또한 전체 전송되는 파일의 크기가 크다면 압축 또한 가능합니다. 

 

이렇게 설정을 완료하시면 생성이 끝나게되며, 정상적으로 연결이 되었는지 확인을 위해서는 '데모 데이터로 테스트'를 이용하시면됩니다.