배워가는블로거

지난 AWS 콘솔에서 Firehose 설정을 마치고, 이번에는 실제 Java에서 연동하는 방법에 대해 간단히 예제를 정리해보겠습니다. 먼저 가장 처음 해야 할 일은 aws sdk를 설정해야 합니다. implementation 'software.amazon.awssdk:firehose:2.18.16' build.gradle에 추가해주고, 별도의 라이브러리 설정은 필요하지 않습니다. 그리고 다음으로는 kinesis 연결을 하고 데이터를 추가하는 함수를 구현해야 합니다. 여기서는 awsCredentials을 위한 key가 필요하니 먼저 준비해주시면 됩니다. 연결 예제 코드는 아래와 같습니다. public String putRecordRequest(String recordValue, String streamNa..

이번 포스트에서는 스트림 생성에 대해서 간략히 정리해보겠습니다. 그리고 코드에서 직접 데이터를 수집하는 예제를 진행해보겠습니다. 먼저 Kinesis Data Firehose (KDF) 작동방식은 아래 그림과 같습니다. 일단 첫 번째로는 소스 및 대상 선택을 해야합니다. 소스는 Amazon Kinesis Data Streams과 Direct PUT 중에 선택할 수 있습니다. 저희는 코드에서 직접 데이터를 수집하는 예제를 진행해보려고 하고 있으니, Direct PUT을 선택하였습니다. 그리고 수집된 데이터는 S3에 저장을 할 예정이므로, 대상에는 Amazon S3를 선택했습니다. 이어서 스트림 이름과 변형 및 변환에 대해 설정하게 되는데, 따로 변형 및 변환은 필요하지 않아 활성화 체크를 하지 않았습니다. ..

Amazon Kinesis Data Firehose에 대한 개념과 활용 예시에 대해 정리해보고자 합니다. AWS에 정의된 내용에 따르면, Amazon Kinesis Data Firehose는 스트리밍 데이터를 안정적으로 캡처하고 전환하여 데이터 레이크, 데이터 스토어, 분석 서비스에 전달하는 추출, 전환, 적재(ETL) 서비스입니다. 보다 이해하기 쉽게 아래 그림을 보면 좋을 것 같습니다. 여러 Input Data를 받아 바로 스트리밍으로 처리할 수도 있고, AWS Lambd와 함께 활용하여 데이터를 변환 후 처리할 수 도 있습니다. 그리고 해당 데이터들은 S3, Redshift 등 AWS Serveice로 보내서 처리되며, 해당 데이터를 활용하여 최종 Output이 나오게 됩니다. 몇 가지 활용 예시가..

■ [AWS] RDS (Relational Database Service) 생성하기 오늘은 AWS RDS 생성방법에 대해서 정리하겠습니다. 먼저 간단하게 RDS란 AWS에서 제공하는 관계형 데이터베이스 서비스입니다. 클라우드 환경에서 관계형 데이터베이스를 쉽게 설정, 운영, 확장이 가능하며 다양한 DB 엔진을 제공해주는 아주 고마운 서비스이죠. 그럼 차근차근 하나씩 생성해보겠습니다. (프리티어 기준으로 작성했습니다) ● 데이터베이스 생성 서비스 - 데이터베이스 - RDS로 접근합니다. 처음 접근하셨다면 아래와 같은 화면을 보실 수 있습니다. 여기서 중앙에 보이시는 '데이터베이스 생성'을 클릭합니다. ● 엔진 선택 위의 간단한 설명에서 다양한 데이터베이스 엔진을 제공한다고 했는데요. 아래 이미지와 같이 다..

■ [AWS] EC2 보안그룹 (Security Group) 설정오늘은 AWS EC2의 보안그룹 (Security Group) 설정 방법에 대해 정리하겠습니다. EC2에서는 보안그룹 규칙을 통해 EC2 인스턴스로 들어오고 나가는 트래픽을 세부적으로 제어할 수 있도록 해주고 있습니다. 예를 들어 SSH접속 포트인 22번 포트는 개발자 PC에서만 접근 가능하도록 허용할 수 있고 서비스 포트인 80포트는 모두에게 허용할 수 있도록 설정 가능합니다. 그럼 보안그룹 설정방법에 대해 정리해보겠습니다. 추가로 AWS EC2 생성에 관한 포스팅은 아래 글을 참고해주시면 됩니다. https://zamezzz.tistory.com/296 ● 보안 그룹 생성 EC2의 네트워크 및 보안 -> 보안그룹 생성을 클릭하시면 아래 ..

■ [AWS] S3 객체 업로드 및 액세스 설정 오늘은 AWS의 S3 객체 업로드 및 액세스 설정에 대해서 정리하겠습니다. S3 버킷 생성에 관한 포스팅은 바로 이전 글을 참고하시면 됩니다.http://zamezzz.tistory.com/298 ● S3 객체 업로드 지난 포스팅에서 생성된 버킷을 클릭하면 아래와 같은 화면을 볼 수 있습니다.(객체 업로드 및 설정을 하나도 안했을 경우) 객체 업로드부터 그럼 시작해보겠습니다. 화면 중앙의 시작하기를 클릭합니다. 그럼 콘솔화면에서 객체 업로드 화면이 나옵니다. 파일 추가를 통해 샘플 파일 하나를 업로드해보겠습니다. (저의 경우 sample.html) 파일 추가 후 다음을 클릭합니다. 권한 설정이 나오는데요. 다른 AWS계정에게 액세스 권한을 추가하거나 퍼블릭..

■ [AWS] S3 Bucket 생성하기오늘은 AWS의 S3 생성에 대해서 정리해보겠습니다. S3란 Simple Storage Service의 약자로 쉽게말해 파일을 저장하는 저장소입니다. 단순히 데이터를 저장하는 것 부터 정적인 웹 사이트 서버로써 활용도 가능합니다 AWS 프리티어에서는 S3 용량 5GB를 무료로 사용할 수 있으며, GET 요청 2만개와 PUT요청 2천개를 무료로 1년동안 사용이 가능합니다. ● S3 Bucket 생성 먼저 서비스 -> 스토리지 -> S3 메뉴를 클릭합니다. 처음 메뉴에 접근하셨다면 아래와 같은 화면이 보일거에요. 왼쪽 상단 +버킷 만들기 또는 중앙의 시작하기를 클릭합니다. 클릭하시면 그 다음 버킷이름과 리전을 선택할 수 있습니다. 또한 기존 버킷이 존재한다면 해당 버킷..

■ [AWS] EC2 생성하기 (Elastic Compute Cloud)AWS의 EC2 생성에 대해서 정리해보겠습니다. EC2란 클라우드 기반의 컴퓨팅 자원을 제공해주는 서비스입니다. 오늘은 생성 방법은 프리티어 기준으로 진행하겠습니다. ● 인스턴스 생성 먼저 서비스 -> 컴퓨팅 -> EC2 메뉴를 클릭합니다. 리전은 아시아 태평양(서울)을 선택하였습니다. EC2메뉴로 이동하여 화면 중앙에 보시면 아래와 같은 버튼이 보일거에요. 인스턴스 시작 버튼을 클릭합니다. ● AMI 선택 그럼 이제 1단계로 넘어왔습니다. 1단계는 AMI를 선택하는 단계인데요. 아래 그림과 같이 프리티어에서는 5가지가 사용이 가능합니다.- Amazon Linux 2 AMI- Amazon Linux AMI- Ubuntu Server-..

■ [AWS] 결제 알람 설정하기 (Billing Alarm) AWS 포스팅에서는 AWS의 프리티어를 기반으로 AWS의 다양한 제품에 대한 사용법을 공부하고자 합니다. 그 첫 번째는 AWS의 계정을 생성 후 신용카드 등록을 해주는 것입니다.https://aws.amazon.com/ko/ 위 부분은 매우 간단하니 생략하도록 하겠습니다. AWS의 프리티어란 AWS의 다양한 제품을 무료로 체험할 수 있도록하는 프로그램입니다. 물론 그 성능 및 기간의 제한은 있지만 매우 좋은 프로그램임은 확실하다고 생각해요 다만 프리 티어임을 망각하고 막 사용하게 된다면 과금이 될 수도 있는데요. 실제 과금 폭탄을 맞았다... 등등의 사례를 통해 볼때 약간은 무섭기도 합니다. 이를 방지하고자 오늘 첫 번째 포스팅에서는 AWS의..