kdf 2

[AWS] Amazon Kinesis Data Firehose (3) - JAVA 연동

지난 AWS 콘솔에서 Firehose 설정을 마치고, 이번에는 실제 Java에서 연동하는 방법에 대해 간단히 예제를 정리해보겠습니다. 먼저 가장 처음 해야 할 일은 aws sdk를 설정해야 합니다. implementation 'software.amazon.awssdk:firehose:2.18.16' build.gradle에 추가해주고, 별도의 라이브러리 설정은 필요하지 않습니다. 그리고 다음으로는 kinesis 연결을 하고 데이터를 추가하는 함수를 구현해야 합니다. 여기서는 awsCredentials을 위한 key가 필요하니 먼저 준비해주시면 됩니다. 연결 예제 코드는 아래와 같습니다. public String putRecordRequest(String recordValue, String streamNa..

AWS 2023.01.17

[AWS] Amazon Kinesis Data Firehose (2) - Stream 생성

이번 포스트에서는 스트림 생성에 대해서 간략히 정리해보겠습니다. 그리고 코드에서 직접 데이터를 수집하는 예제를 진행해보겠습니다. 먼저 Kinesis Data Firehose (KDF) 작동방식은 아래 그림과 같습니다. 일단 첫 번째로는 소스 및 대상 선택을 해야합니다. 소스는 Amazon Kinesis Data Streams과 Direct PUT 중에 선택할 수 있습니다. 저희는 코드에서 직접 데이터를 수집하는 예제를 진행해보려고 하고 있으니, Direct PUT을 선택하였습니다. 그리고 수집된 데이터는 S3에 저장을 할 예정이므로, 대상에는 Amazon S3를 선택했습니다. 이어서 스트림 이름과 변형 및 변환에 대해 설정하게 되는데, 따로 변형 및 변환은 필요하지 않아 활성화 체크를 하지 않았습니다. ..

AWS 2023.01.13