[aws] Kinesis

이 글의 일부는 aws 공식문서의 내용을 참조하였음을 밝힙니다.

 

 

 

📌 Kinesis

 

Kinesis를 활용하면 실시간 스트리밍 데이터를 손쉽게 수집하고 처리하여 분석할 수 있다. 실시간 데이터에는 애플리케이션 로그, 계측, 웹사이트 클릭 스트림, IoT, 원격 측정 데이터 등 어떤 것도 포함될 수 있다. 데이터가 빠르게 실시간으로 생성된다면 모두 실시간 데이터 스트림으로 간주할 수 있다. Kinesis는 데이터 스트림을 수집하여 처리하고 저장하는 Kinesis Data Stream, 데이터 스트림을 AWS 내부나 외부의 데이터 저장소로 읽어들이는 Kinesis Data Firehouse, SQL 언어나 Apache Flink를 활용하여 데이터 스트림을 분석하는 Kinesis Data Analytics, 비디오 스트림을 수집하고 처리하여 저장하는 Kinesis Video Stream  등 4가지 서비스로 분류된다. 

 

 

 

 

 

📌 Kinesis Data Streams

 

시스템에서 큰 규모의 데이터 흐름을 다루는 서비스로 Kinesis Data Stream은 여러 개의 샤드로 구성 되어있다. 이 샤드는 여러 개로 구성되어 있는데 이 것은 사전에 프로비저닝되어야 한다. 데이터들은 이러한 샤드에 분배된다. 샤드는 데이터 수집률이나 소비율 측면에서 스트림의 용량을 결정한다. 그림에서 생산자(어플리케이션 혹은 데스크톱, 휴대전화)는 데이터를 Kinesis Data Stream 으로 보낸다고 가정하자.  Kinesis Data Stream 에 레코드를 전달할 때 레코드는 근본적으로 두 가지 요소로 구성된다. 이 때 레코드는 파티션 키와 최대 1MB 크기의 데이터 블롭으로 구성된다. 파티션 키는 레코드가 이용할 샤드를 결정하는데 사용되고 데이터 블롭은 값 자체를 의미한다.  이제 생산자는 데이터를 스트림으로 보낼 때 초당 1MB를 전송하거나 샤드당 1초에 천 개의 메시지를 전송할 수 있다. 따라서 여섯 개의 샤드가 있다면 초당 6MB를 얻거나 총 6천 개의 메세지를 얻을 수 있는 것이다. 일단 데이터가 스트림에 들어가면 많은 소비자(KCL, Lambdam, Firehouse, Data Analytics)가 이 데이터를 사용한다. 이러한 소비자가 레코드를 받으면 여기에는 파티션 키, 샤드에서 레코드의 위치를 나타내는 시퀀스 번호, 데이터 자체를 의미하는 데이터 블롭이 있다. Kinesis Data Stream 에는 여러 소비 유형이 존재하는데 샤드마다 초당 2MB의 처리량을 모든 소비자 공유할 수도 있고, 소비자마다 샤드당 1초에 2MB씩 받을 수도 있다. 정리하자면 Kinesis Data Stream에 데이터를 전송하고 데이터는 잠시 거기에 머물면서 여러 소비자에게 읽힌다. 

 

 

 

 

데이터의 보존 기간은 1일에서 365일 사이로 설정할 수 있으며 데이터가 일단 Kinesis로 들어오면 삭제할 수 없다. 또한 데이터 스트림으로 메세지를 전송하면 파티션 키가 추가되고 파티션 키가 같은 메세지들은 같은 샤드로 들어가게 되어 키를 기반으로 데이터를 정렬할 수 있다. 생산자는 SDK, Kinesis Producer Library, Kinesis Agent를 사용하여 데이터를 전송할 수 있으며 소비자는 Kinesis Producer Library나 SDK를 써서 직접 데이터를 작성할 수 있다. 아니면 AWS 에서 관리하는 Lambda나 Kinesis Data Firehose, Kinesis Data Analytics를 활용할 수도 있다. Kinesis Data Stream 에는 두 가지 용량 유형이 있는데 먼저 전통적인 용량 유형으로 프로비저닝 유형이 있고 여기서 프로비저닝할 샤드 수를 정하고 API를 활용하거나 수동으로 조정한다.  온디맨드 유형에서는 용량을 관리하지 않아도 되고 시간에 따라 언제든 용량이 조정된다. 

 

 

• 실시간 데이터 스트리밍: 데이터 스트림을 통해 밀리초 단위의 레이턴시로 데이터를 실시간으로 수집하고 처리할 수 있습니다.
• 사용자 정의 처리: 사용자가 직접 작성한 애플리케이션 또는 AWS Lambda 함수를 통해 데이터를 실시간으로 처리할 수 있습니다.
• 세분화된 제어: 데이터의 분할 및 병렬 처리, 데이터 보존 기간(최대 7일), 데이터를 얼마나 오랫동안 유지할지 등의 설정을 세부적으로 제어할 수 있습니다.
• 유스 케이스: 실시간 로그 수집, 실시간 분석, 데이터 변환, 스트리밍 데이터의 복잡한 처리 등.

 

 

📌 Kinesis Data Firehose 

 

 

Firehose는 생산자로부터 데이터를 가져올 수 있는 매우 유용한 서비스로 Data Streams 에서 본 모든 것이 생산자가 될 수 있다. 

 또한 Kinesis data stream을 Kinesis Data Firehose로 생성할 수도 있다. 이러한 모든 애플리케이션이 DataFirehouse로 레코드를 전송하면 람다 함수를 사용하여 데이터 변환을 선택할 수 있고 데이터가 선택적으로 변환되면 일괄적으로 대상에 작성할 수 있다. Firehouse의 수신처는 세 개가 있으며 S3,AWS의 웨어하우징 데이터베이스인 아마존 Redshift, AWS의 OpenSearch 등이 있다. 타사 파트너 수신처로는 DataDog,Splunk,New Relic,Mongo DB 등이 있고 HTTP 엔드 포인트가 있는 자체 API가 있는 경우 사용자 지정 수신처로 데이터를 보낼 수 있다. 데이터가 모든 수신처로 전송되면 두 가지 옵션이 있다. 모든 데이터를 백업으로 S3 버킷으로 보낼 수 있다.

 

 

 

 

• 데이터 전송: 데이터 스트림을 자동으로 수집하여 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 또는 Splunk와 같은 대상에 전송합니다.
• 자동 배치: 데이터를 자동으로 배치하여 대상 서비스에 전송하며, 사용자 설정에 따라 버퍼 크기 및 버퍼 시간에 따라 데이터 전송을 조정합니다.
• 포맷 변환: 데이터를 대상 서비스의 요구 사항에 맞게 자동으로 포맷 변환(CSV, JSON, Parquet 등)합니다.
• 간편한 설정: 별도의 애플리케이션 작성 없이 콘솔에서 몇 번의 클릭만으로 설정이 가능하며, 자동 확장 및 유지 관리를 제공합니다.
• 유스 케이스: 로그 및 이벤트 데이터 수집, 데이터 레이크 생성, 분석을 위한 데이터 적재 등.