AWS Storage Gateway


  • 온프레미스 데이터와 클라우드 데이터를 연결하는 다리 역할을 한다
  • Use cases:
    • DR
    • backup & restore
    • 계층형 스토리지
    • on-premises cache & low-latency files access
  • Types of Storage Gateway:
    • S3 File Gateway
      • NFS(v3, v4.1) 또는 SMB(v2, v3) 로 S3 버킷을 파일 공유처럼 마운트한다
      • 파일 하나가 S3 객체 하나로 저장되므로 다른 AWS 서비스에서 그대로 읽을 수 있다
      • 자주 쓰는 데이터는 게이트웨이의 로컬 캐시에 두어 지연을 낮춘다
    • FSx File Gateway
      • 온프레미스에서 클라우드의 FSx for Windows File Server 공유에 SMB 로 접근한다
      • 로컬 캐시를 두어 온프레미스 파일 서버 수준의 지연을 유지한다
      • 신규 고객에게는 더 이상 제공되지 않는다
    • Volume Gateway
      • iSCSI 블록 볼륨을 제공해 온프레미스 애플리케이션 서버에서 디스크처럼 마운트한다
      • Cached volumes: 원본은 S3 에 두고 자주 쓰는 일부만 로컬에 캐시
      • Stored volumes: 원본 전체를 로컬에 두고 시점 스냅샷만 비동기로 S3 에 백업
    • Tape Gateway
      • 기존 백업 소프트웨어가 테이프 장비로 인식하는 가상 테이프 라이브러리(VTL)를 제공한다
      • 가상 테이프는 S3 Glacier Flexible Retrieval 또는 S3 Glacier Deep Archive 에 보관된다
      • 물리 테이프 장비 없이 기존 백업 워크플로를 그대로 유지할 수 있다

S3 File Gateway vs Mountpoint for Amazon S3

둘 다 S3 를 파일처럼 다루지만 실행 위치와 목적이 다르다.

  • S3 File Gateway
    • 온프레미스에 VM 또는 하드웨어 어플라이언스를 두고 NFS/SMB 로 공유한다
    • 로컬 캐시가 온프레미스와 AWS 사이의 지연과 대역폭 변동을 흡수한다
    • 기존 파일 서버를 대체하는 용도
  • Mountpoint for Amazon S3
    • 애플리케이션이 도는 Linux 호스트에 설치하는 오픈소스 파일 클라이언트다
    • 파일 연산을 S3 객체 API 호출로 번역하며 어플라이언스가 없다
    • 캐시는 opt-in 이며 변하지 않는 데이터를 반복해서 읽는 경우를 위한 것이다 (04. Amazon S3 > Mountpoint for Amazon S3)
    • 읽기 위주의 대용량 처리량 워크로드(데이터 레이크, ML 학습, ETL)를 위한 용도
    • 기존 파일 수정, 디렉터리 삭제, 심볼릭 링크, 파일 락을 지원하지 않는다
    • 완전한 POSIX 지원이 필요하면 FSx for Lustre 를 권장한다

References