Amazon S3

Simple Storage Service

 

• 데이터를 객체 단위로 저장하는 확장성이 뛰어난 스토리지 서비스
• 객체 스토리지: 데이터를 객체 단위로 관리하는 형식
  • 각 객체는 데이터 자체, 메타데이터, 고유 식별자로 구성되어 있어, 데이터를 유연하고 효율적으로 저장하고 검색
• 용량 제한이 없음 -> 필요한 최소 용량으로 시작
  • 저장 용량을 사전에 예측하고 설정할 필요 없이, 사용자가 데이터를 업로드하면 그에 맞춰 용량이 확장 됨 
• 비정형 데이터 저장: 이미지, 동영상, 로그, 백업 등 다양한 데이터 유형 저장 가능
  • 이미지, 동영상, 로그, 백업 파일 등 다양한 유형의 데이터를 저장할 수 있다.
  • 비정형 데이터는 구조화되지 않은 데이터로, 텍스트 기반의 파일이 아닌 멀티미디어 파일, 소프트웨어 백업 등 
• 서버리스: 인프라 관리 없이 데이터 저장 및 관리 가능
  • 사용자에게 서버 관리의 부담을 주지 않으며, 사용자는 데이터를 업로드하고 관리하는 것에만 집중. AWS가 자동으로 모든 인프라를 관리하므로, 서버의 설정이나 유지보수, 확장에 신경 쓸 필요가 없다.
• 비용 효율성
  • S3는 사용한 만큼만 비용을 지불하는 방식으로 운영. 저장된 데이터의 용량과 데이터 전송량에 따라 비용이 발생하며, 서버나 하드웨어 관리에 따른 추가 비용이 없어서 비용 효율적

 

서버리스란?

 

정말 중요한 개념이다.

• 자동 확장성: 데이터를 저장할 때 자동으로 용량 확장. 사용자가 용량을 미리 정의할 필요 없이, 데이터가 커지면 자동으로 확장
• 관리 불필요: 사용자가 직접 하드웨어나 서버를 관리할 필요가 없으므로, 서버의 유지보수나 설정에 대한 부담이 없다.
• 온디맨드 비용: S3는 사용한 만큼만 비용을 지불. 저장 용량과 데이터 전송에 대한 비용만 발생하며, 서버를 운영할 필요 없이 데이터를 저장가능하다.

 

특징

 

확장성

• 필요에 따라 용량 확장 및 축소 가능
• 액세스 패턴에 따라 다양한 스토리지 클래스 제공

가용성 & 내구성

• 99.999999999%의 내구성
• 최소 4개 이상의 가용 영역(AZ) 에 자동 복제되어 데이터 보호

보안 & 신뢰성

• AES-256 및 KMS 기반 암호화 지원
• IAM 정책, 버킷 정책, ACL을 활용한 접근 제어
• 액세스 로그 및 객체 잠금(Object Lock) 기능 제공

관리 기능

• 스토리지 클래스 분석: 객체 액세스 빈도를 분석하여 적절한 스토리지 클래스로 이동
• 수명 주기 정책(Lifecycle Policy): 일정 기간 이후 객체 이동 또는 삭제 자동화
• S3 Select: 객체 내부 데이터를 직접 필터링하여 비용 절감

 

 

S3 요금 구조

 

S3는 사용량 기반 과금 방식

• 저장 용량: 저장된 데이터의 크기에 따라 과금
• 데이터 전송량: 요청(GET, PUT), 업로드, 다운로드 트래픽에 대한 비용 발생
• 스토리지 클래스: Standard, Intelligent-Tiering, Infrequent Access(IA), Glacier 등 선택 가능

 

 

스토리지 클래스: Standard 외에도 액세스 패턴에 따라 계층 이동 가능한 크ㄹ래스, 액세스 빈도 낮은 데이터 위한 클래스 등 존재

standard, IT, IA, Glacier 

1. S3 Standard

일반적인 용도에 적합한 스토리지 클래스. 빈번하게 액세스하는 데이터나 높은 내구성과 가용성이 필요한 데이터에 적합

ex) 웹사이트 콘텐츠, 애플리케이션 데이터, 실시간 분석 데이터 저장

 

2. S3 Intelligent-Tiering (IT)

액세스 패턴이 불확실하거나 변동성이 큰 데이터에 적합한 스토리지 클래스. 자동으로 스토리지 계층을 이동시켜, 비용 효율적인 저장을 제공. 데이터가 자주 사용되지 않거나, 사용 빈도가 예측 불가능한 경우에 유용

 

3. S3 Standard-IA (Infrequent Access)

액세스 빈도가 낮은 데이터를 저장하는 데 적합한 스토리지 클래스. 주기적으로 액세스되지만 자주 사용되지 않는 데이터를 저장할 때 사용. ex) 백업 데이터, 긴급시만 접근하는 아카이브 파일 

 

4. S3 Glacier

장기 보관용 아카이브 데이터를 위한 스토리지 클래스. 액세스 시간이 긴 데이터(예: 법적 보관 데이터, 역사적 자료 등)에 적합

저렴한 비용으로 데이터를 저장할 수 있으며, 데이터를 복구하는 데 시간이 오래 걸림

 

5. S3 Glacier Deep Archive

장기 보관이 필요한 데이터 중에서 최저 비용으로 저장할 수 있는 스토리지 클래스. 주로 20년 이상 보관해야 하는 데이터에 적합

 

S3의 핵심 개념

 

• 객체(Object): S3에 저장되는 개별 데이터 단위 (파일과 유사)
  • 버킷, 객체 키, 버전으로 관리됨
• 버킷(Bucket): 객체를 저장하는 컨테이너 (Windows 드라이브 개념과 유사)
  • 이때, 버킷은 폴더가 아니기에 버킷 안에 버킷을 다시 만드는것은 불가능 하다.  default: 계정당 최대 100개의 버킷
  • S3는 객체 스토리이기 때문에 폴더나 디렉터리 같은 개념이 없음. 객체는 버킷에 계층 구조가 아니라 병렬로 배치됨.
  • 버킷 명명 규칙: 3~63글자 사이의 글자 수 제한 + 맨앞과 맨뒤는 알파벳
  • 계층적 구조가 아닌 평면 구조
• 객체 키(Object Key): 버킷 내에서 객체를 식별하는 고유한 키 (파일 경로와 유사). S3가 파일 식별하기 위해 사용
• 객체 메타데이터: 객체에 대한 추가 정보(파일 유형, 생성일 등) 저장 가능. 사라밍 파일 쉽게 관리하기 위해 사용

 

 

S3 사용법

 

📌 파일 업로드 및 다운로드

• AWS 콘솔, API, SDK를 사용하여 업로드 및 다운로드 가능
• 멀티파트 업로드: 대용량 파일을 여러 개의 청크로 나누어 업로드
• AWS Transfer for SFTP: SFTP를 통한 파일 전송 
• AWS DataSync: 온프레미스와 AWS 스토리지 시스템 간 대량 데이터 전송 가능
• Snowball, Snowmobile: 네트워크 연결 없이 대량 데이터 마이그레이션 지원

📌 S3 버킷 설정 및 주의사항

• 버킷 생성 후 이름과 리전 변경 불가
• 접근 제어 필요 (기본적으로 모든 퍼블릭 액세스 차단)
• 액세스 로그 활성화: 원격 IP, 요청 ID 등을 기록하여 보안 감시 가능

 

과정

버킷 생성 -> EC2와 달리 SSH 설정 필요 없음 -> 파일 업로드

 

주의사항

 

1. S3 버킷 생성 후 이름과 리전 변경 불가

• 버킷 이름과 리전은 버킷을 생성한 후에는 변경할 수 없기 때문에 신중히 설정

2. 용도에 맞는 설정 필요

• 파일 서버: SFTP 사용 시, S3 Transfer Acceleration과 같은 기능을 고려
• 로그 저장소: 로그 파일은 저장 대상과 인증 방법을 고려하여 설정. ex) CloudTrail 로그를 S3에 저장하는 방식
• 도메인과 버킷명 일치: 소유한 도메인명을 사용하여 버킷명을 일치시키는 것은, 커스텀 도메인을 사용해 URL을 제공하고 싶을 때 유용

3. 액세스 로그 및 액세스 감지

• 스토리지는 모르는 사람이 액세스 하는 경우가 많기에, 이러한 액세스 감지 로그를 살펴봐야 한다.
• 특히, 외부 접근이 있을 수 있는 데이터를 S3에 저장할 경우, 액세스 로그는 보안 감사 및 추적에 매우 유용

4. 스토리지 클래스 분석

•  

 

S3 보안 및 접근 관리

 

✅ 버킷 정책 (Bucket Policy)

• 버킷 단위의 접근 제어 정책을 JSON 형식으로 정의
• 특정 사용자 또는 역할(Role)에게 읽기/쓰기 권한 부여 가능

✅ IAM 정책 (IAM Policy)

• 개별 사용자 또는 그룹에 대해 S3 액세스 권한 부여
• 특정 버킷에 대한 접근 권한 설정 가능

✅ ACL (Access Control List)

• 버킷 및 객체 단위로 읽기/쓰기 권한 설정 가능
• 다른 AWS 계정에 대한 개별 객체 권한 부여 가능

✅ 객체 잠금 (Object Lock)

• 객체 변경 방지 기능 제공
• 거버넌스 모드: 특정 관리자만 객체 변경 가능
• 규정 준수 모드: 어떤 사용자도 객체 변경 불가

 

버킷에 대한 액세스 제한

1. 버킷 정책 (Bucket Policy)

• 버킷 단위의 접근 제어: 버킷에 대한 액세스를 모든 사용자 또는 특정 사용자로 제한가능
• 정의: JSON 형식으로 버킷의 접근 권한을 설정할 수 있다.
• 주요 용도: 특정 사용자 또는 역할에게 읽기/쓰기 권한을 부여하거나 제한하는 데 사용

 

2. 사용자 정책 (IAM Policy)

• 사용자 단위의 접근 제어: 특정 IAM 사용자 또는 IAM 그룹에게 S3 버킷에 대한 권한을 부여
• 정의: IAM 사용자가 어떤 리소스에 접근할 수 있을지에 대한 권한을 설정하는 정책을 작성
• 주요 용도: 특정 사용자가 특정 버킷에 대한 읽기/쓰기 권한을 가지도록 설정

 

3. 액세스 제어 목록 (ACL - Access Control List)

• 객체 및 버킷 단위의 접근 제어: 특정 AWS 계정에 대해 읽기/쓰기 권한을 설정하는 방식
• 정의: 버킷이나 객체에 대해 다른 AWS 계정에게 세부 권한을 부여하거나 제한가능
• 주요 용도: 다른 AWS 계정에 대해 세부적인 액세스 권한을 설정할 때 유용

 

4. 액세스 제한 설정

• 리소스 (리소스 유형): 접근을 제한할 대상인 버킷 또는 객체를 설정
• 작업 (Action): 허용할 작업 종류를 정의.  GET, PUT, DELETE 
• 효과 (Effect): 허용(Allow) 또는 거부(Deny)를 설정하여 특정 작업에 대해 권한을 부여하거나 제한
• 보안 주체 (Principal): 어떤 사용자가나 서비스가 해당 작업을 수행할 수 있는지 정의

 

 

S3 정적 웹 사이트 호스팅

 

✅ 정적 웹 사이트 호스팅 가능

• 별도 서버 없이 HTML, CSS, JavaScript 기반 정적 웹사이트 배포 가능
• 이때, 버킷의 기본 값은 3자의 접속을 거부하므로, 이를 해제하고, 모든 사용자가 접근 가능하도록 해야 한다.
• 도메인 연결 시 버킷 이름과 도메인 이름을 일치시키면 커스텀 도메인 사용 가능
• DB 없이 정적 파일만 있는 웹사이트라면, EC2 대신 S3로 호스팅하는 것이 더 간단하고 효율적

 

 

 

3가지 관리방법

 

✅ 버전 관리 (Versioning)

✅ 교차 리전 복제 (Cross-Region Replication, CRR)

 

✅ 수명 주기 정책 (Lifecycle Policy)

• Transition: 액세스 빈도에 따라 객체를 다른 스토리지 클래스로 이동
• Expiration: 일정 기간 이후 객체 자동 삭제