[aws] Amazon FSx

이 글의 일부는 aws 공식문서의 내용을 참조하였음을 밝힙니다.

 

 

 

📌 Amazon FSx

 

FSx는 완전 관리형 서비스로 타사 고성능 파일 시스템이다. 이 개념은 RDS에서 MySQL 이나 Postgres를 엔진으로 사용하는 것과 같은 개념이다. 이 FSx는 다양한 운영체제의 파일 서비스를 제공하는데 FSx Lustre, FSx Windows, Fsx NetApp, FSx Open ZFS 등이 있다. 

 

 

 

 

 

FSx Windows

 

완전 관리형 Windosws 파일 서버 공유 드라이브로 Windows를 사용하기 때문에 SMB 프로토콜과 Windows NTFS를 지원한다. 또한 Microfsoft Active Directory 통합을 지원하므로 사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스를 제어할 수 있다. 특징으로는 겉보기엔 Windows에서만 사용할 수 있는 것 같지만 Linux EC2 인스턴스에도 마운트 할 수 있다. 기존에 온프레미스 등에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용해 파일 시스템을 그룹화하여 온프레미스의 Windows 파일 서버와 FSx를 결합할 수 있다. FSx for Windows는 프라이빗 연결로 온프레미스 인프라에 액세스할 수 있으며 다중 AZ 로 구성이 가능하고 모든 데이터는 S3에 매일 백업된다. 

 

 

FSx Lustre

 

Lustre는 Linux와 cluster의 합성어로  동영상 처리, 금융 모델링 전자 설계 자동화, 머신 러닝과 고성능 연산, 대형 연산에 쓰인다. Lustre는 S3와의 무결점성 통합이 가능한데 FSx로 S3를 파일 시스템처럼 읽어들이고  FSx의 연산 출력값을 다시 S3에 쓸 수도 있다는 강력한 특징이 있다. 마지막으로 FSx Lustre는 VPN과 직접 연결하여 온프레미스 서버에서 사용할 수 있다. 

 

 

FSx NetApp ONTAP 

 

파일 시스템을 사용하여  온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있다. 다양한 운영체제에서 사용 가능한데 Linux부터 Windows, MacOS, AWS 의 VMware Cloud, Worksapces, Appstream , EC2, ECS, EKS 까지 호환 가능성이 좋고 스토리지는 오토스케일링 즉 자동으로 확장 및 축소 된다.  복제와 스냅샷 기능도 지원하며 비용도 적게 들고 데이터 압축에나 데이터 중복제거도 가능하다. 끝으로 아주 유용한 지정 시간 복제 기능이 있는데 새 워크로드 등을 테스트 할 때 상당히 유용하다. 파일 시스템에서 신속히 복제가 가능하고 스테이징 파일 시스템을 둘 수 있다.

 

 

 

 

FSx for OpenZFS 

 

AWS의 관리형 OpenZFS 파일 시스템으로 여러 버전에서의 NFS 프로토콜과 호환이 가능하다. 주로 ZFS에서 실행되는 워크로드를 내부 AWS로 옮길 때 사용된다. Linux, Mac, Windows에서 사용할 수 있으며 성능이 상당히 좋아서 백만 IOPS까지 확장 가능하고 지연 시간은 0.5 밀리초 이하이다. 스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없다. NetApp ONTAP 처럼 지정 시간 동시 복제 기능이 있어 새 워크로드 테스트 시에 유용하다. 

 

 

 

 

 

📌FSx 파일 시스템 배포 옵션

 

Scratch File System 

 

스크래치 파일 시스템은 임시 스토리지로 데이터가 복제되지 않는다. 즉 기저 서버가 오작동하면 파일이 모두 유실된다. 하지만 최적화로 초과버스트를 사용하면 영구 파일 시스템 보다 속도 측면의 성능을 6배 높일 수 있다. Scratch File System은 단기 처리 데이터에 쓰이며 데이터 복제가 없어 비용을 최적화 할 수 있다. 

 

 

 

 

 

Persistent File System

 

영구 파일 시스템은 장기 스토리지로 동일한 AZ에서만 데이터가 복제 된다. 기저 서버가 오작동 하면 몇 분 내에 해당 파일이 대체 되며 

영구 파일은 민감한 데이터의 장기 처리 및 스토리지를 들 수 있다.