[aws] AWS Snow Family

 

 

이 글의 일부는 aws 공식문서의 내용을 참조하였음을 밝힙니다.

 

 

 

📌 AWS Snow Family

 

Snow Family는 안전한 휴대용 장치로 엣지에서 데이터를 수집 및 처리하거나 AWS 내부 및 외부로 데이터를 마이그레이션하는 데 사용된다. 데이터 마이그레이션을 위한 장치로는 스노우 콘, 스노우볼 엣지 , 스노우 볼 등의 세 가지 유형의 장치가 있고 엣지 컴퓨팅에는 스노우 콘과 스노우볼 엣지 두 가지 장치가 있다. 그렇다면 스노우 제품군을 사용하여 데이터 마이그레이션을 수행하려는 이유는 무엇일까?

네트워크를 통해 많은 데이터를 전송하는 데 걸리는 시간을 살펴 보면 물리적 이동 시간이 더 짧은 경우도 있다. 뿐만 아니라 연결성과 대역폭이 제한되는 지역의 상황에서는 오히려 물리적인 연결이 필요해지고 이 모든 이유가 스노우 제품군의 사용 근거가 된다.  아래 그림은 네트워크를 통한 S3에 데이터 전송이다. 

 

 

 

📌  Snowball Edge 

 

데이터 전송용 (data transfers)

스노우볼 엣지는 거대한 박스 형태로 테라바이트 / 페타바이트의 데이터를 AWS 안팎으로 이동시키는 데 사용된다. 스노우볼 엣지 내의 인터페이스는 블록 스토리지 또는 S3 와 같은 객체 스토리지를 제공한다. 스노우볼 엣지의 스토리지 최적화와 컴퓨트 최적화로 세분화 되는데  스토리지 최적화의 경우 80TB의 HDD 또는 210TB의 NVMe 용량을 제공하며  컴퓨트 최적화의 경우 28TB 또는 42TB의 공간을 제공한다.

 

엣지 컴퓨팅용 (data transfers)

엣지 컴퓨팅용 컴퓨팅 최적화 스노우볼은 104개의 vCPU와 416GB의 RAM을 갖추고 있고 비디오 처리나 머신러닝을 위해 선택적으로 GPU를 추가할 수 있다. 스토리지는 마찬가지로 28TB 또는 42TB의 공간을 제공한다. 또한 최대 16개의 노드까지 클러스터링하여 전체 스토리지를 확장할 수도 있다.  엣지 컴퓨팅용 스토리지 최적화 스노우볼 은 40개의 vCPU, 80GB 램 및 80TB 스토리지를 제공하거나 최대 104vCPU, 416GB 램 210TB의 스토리지를 제공한다. 이 모든 스노우 장치는 EC2 인스턴스와 람다 기능을 실행할 수 있다.

 

 

 

📌  Snowcone (for data transfers)

 

데이터 전송용 (data transfers)

스노우콘은 매우 작은 휴대용 장치이며 견고하다. 데이터 양이 적은 환경에 적합하며 공간이 제한된 환경과 같이 스노우 볼이 맞지 않는 곳에서 스노우콘을 사용하게 된다. 이는 8TB HDD 스토리지와 14TB SSD 스토리지를 제공하는데 기존 처럼 데이터를 오프라인으로 배송하여 전송하거나 인터넷 연결이 가능한 데이터 센터에 이 장치를 연결한 다음 AWS DataSync 서비스를 사용하여 데이터를 AWS로 전송하는 2가지 방법이 있다.

 

엣지 컴퓨팅용 (data transfers)

엣지 컴퓨팅용 스노우콘은 두 개의 CPU에 4GB의 메모리, 유무선 액세스를 제공한다.

 

 

 

📌  Snowmobile (for data transfers)

 

스노우모빌은 트럭으로 스노우모빌을 사용하면 엑사바이트 규모의 데이터를 전송할 수 있다. 10 페타바이트 이상의 데이터 전송을 하는 경우에는 스노우볼보다 나은 사용 사례이다.

 

 

 

📌  Edge Computing

 

지금까지는 데이터 전송 형식에 초점을 맞춰 얘기해왔으니 엣지 컴퓨팅에 대해서 알아보자 . 엣지 컴퓨팅은 엣지 로케이션에서 데이터가 생성되는 동안 처리하는 것으로 엣지 로케이션은 실제로 인터넷이 없거나 클라우드에서 멀리 떨어진 곳을 의미한다. 예를 들어 도로에 트럭이 있거나 바다에 배가 있거나 지상에 광산 기지가 있는 경우 이러한 모든 것을 엣지 로케이션이라고 부를 수 있다. 데이터를 생산할 수 있지만 반드시 인터넷 연결이 되어 있는 것은 아니기 때문이다. 이러한 위치에서 데이터 처리를 지속적으로 실행하고 싶을 때 스노우볼이나 스노우 콘을 엣지 로케이션에 내장하고 엣지 컴퓨팅을 시작할 수 있다. 엣지 컴퓨팅의 사용 사례는 데이터를 전처리하고 엣지에서 기계 학습을 수행하는 것이다.  따라서 클라우드로 돌아가지 않고도 주요 스트림을 미리 트랜스 코딩하고 aws로 배송할 수 있다. 엣지 컴퓨팅의 용도의 슨우 패밀리는 위에서 살펴본 데이터 이송용 스노우 패밀리와 다르게 CPU도 제공한다는 점에서차이를 둔다.

 

 

 

 

 

📌  Snowball을 통해 Glacier 로부터 가져오기

 

Snowball 은 Glacier 클래스로부터 데이터를 직접 가져올 순 없기 때문에 그렇게 하려면 S3 의 수명 주기 정책을 생성하여 Amazon Glacier로 객체를 전환해야 한다. Snowball 이 데이터를 Amzon S3로 import 하면 S3는 수명 주기 정책을 통해 해당 데이터를 Glacier로 전환된다.