배워가는블로거

지난 AWS 콘솔에서 Firehose 설정을 마치고, 이번에는 실제 Java에서 연동하는 방법에 대해 간단히 예제를 정리해보겠습니다. 먼저 가장 처음 해야 할 일은 aws sdk를 설정해야 합니다. implementation 'software.amazon.awssdk:firehose:2.18.16' build.gradle에 추가해주고, 별도의 라이브러리 설정은 필요하지 않습니다. 그리고 다음으로는 kinesis 연결을 하고 데이터를 추가하는 함수를 구현해야 합니다. 여기서는 awsCredentials을 위한 key가 필요하니 먼저 준비해주시면 됩니다. 연결 예제 코드는 아래와 같습니다. public String putRecordRequest(String recordValue, String streamNa..

이번 포스트에서는 스트림 생성에 대해서 간략히 정리해보겠습니다. 그리고 코드에서 직접 데이터를 수집하는 예제를 진행해보겠습니다. 먼저 Kinesis Data Firehose (KDF) 작동방식은 아래 그림과 같습니다. 일단 첫 번째로는 소스 및 대상 선택을 해야합니다. 소스는 Amazon Kinesis Data Streams과 Direct PUT 중에 선택할 수 있습니다. 저희는 코드에서 직접 데이터를 수집하는 예제를 진행해보려고 하고 있으니, Direct PUT을 선택하였습니다. 그리고 수집된 데이터는 S3에 저장을 할 예정이므로, 대상에는 Amazon S3를 선택했습니다. 이어서 스트림 이름과 변형 및 변환에 대해 설정하게 되는데, 따로 변형 및 변환은 필요하지 않아 활성화 체크를 하지 않았습니다. ..

Amazon Kinesis Data Firehose에 대한 개념과 활용 예시에 대해 정리해보고자 합니다. AWS에 정의된 내용에 따르면, Amazon Kinesis Data Firehose는 스트리밍 데이터를 안정적으로 캡처하고 전환하여 데이터 레이크, 데이터 스토어, 분석 서비스에 전달하는 추출, 전환, 적재(ETL) 서비스입니다. 보다 이해하기 쉽게 아래 그림을 보면 좋을 것 같습니다. 여러 Input Data를 받아 바로 스트리밍으로 처리할 수도 있고, AWS Lambd와 함께 활용하여 데이터를 변환 후 처리할 수 도 있습니다. 그리고 해당 데이터들은 S3, Redshift 등 AWS Serveice로 보내서 처리되며, 해당 데이터를 활용하여 최종 Output이 나오게 됩니다. 몇 가지 활용 예시가..