[aws] DataSync 란?

이 글의 일부는 aws 공식문서의 내용을 참조하였음을 밝힙니다.

 

 

 

📌 DataSync

 

 DataSync는 데이터를 동기화하며 이를 통해 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있다. 다른 곳이라 함은 온프레미스나 aws의 다른 클라우드로 데이터를 옮길 수 있는데 이 때 우리의 서버를 NFS, SMB, HDFS 또는 다른 프로토콜에 연결해야 하고 옮길 위치인 온프레미스나 연결할 다른 클라우드 에이전트가 있어야 한다. 동기화 할 수 있는 데이터의 종류로는 Glacier를 포함하여 모든 스토리지 클래스에 동기화 할 수 있으며 Amazon EFS, Amazon FSx (Windows, Lustre, NetAPP, OpenZFS) 등이 있다. 그리고 DataSync에는 파일 권한과 메타데이터 저장 기능이 있는데 이는 보안과 관련되어 NFS POSIX 파일 시스템 그리고 SMB 권한을 준수한다. 

 

 

 

SMB / NFS 프로토콜을 사용하여 온프레미스 파일을 AWS로 동기화하는 예시를 살펴보자. 온프레미스와 DataSync가 실행되는 AWS 리전이 있다. 온프레미스에 NFS 또는 SMB 서버가 있는데 이 때 온프레미스에 AWS DataSync 에이전트를 설치하고 이를 NFS 또는 SMB 서버에 연결시켜서 이 에이전트를 이용하여 암호화(TLS)를 거쳐 DataSync 서비스에 연결한다. 이는 S3 버킷의 다양한 스토리지 클래스, EFS, FSx 등으로 연결 될 수 있으며 동기화는 온프레미스에서 AWS로 단방향으로 이루어지거나 AWS에서 다시 온프레미스로 동기화를 실행할 수 있다. DataSync라는 이름에 걸맞게 양방향으로 동기화가 가능하다. 하지만 가끔 네트워크 용량이 따라주지 못할 경우

Snowcone 장치를 사용할 수 있다. Snowcone 장치에는 DataSync 에이전트가 사전에 설치되어 있어 온프레미스에서 Snowcone을 실행하고 데이터를 가져온 다음 DataSync 에이전트를 실행하면 다시 에이전트가 AWS 리전으로 전송하면서 AWS의 스토리지 리소스 외부에 데이터를 동기화 할 수 있다.

 

 

 

 

 

DataSync를 통해 서로 다른 AWS 스토리지 서비스간 동기화도 가능하다. S3, EFS, FSx 를 다시 S3, EFS, FSx로 동기화가 가능하며  데이터 복사본을 만든다. 서로 다른 AWS 스토리지 서비스 간 메타데이터 또한 유지된다.

 

 

 

 

 

 

 

요약하자면 DataSync는 이터를 동기화하며 이를 통해 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있는 서비스로 지속적이지 않고 매 시간, 매일, 혹은 매주와 같이 일정에 따라 움직이며 메타데이터와 파일 권한은 보존한다.  끝으로 NFS 또는 SMB 서버에 연결하려면 DataSync 에이전트를 실행해야 한다는 점을 잊지 말자.