728x90
1. AWS란 무엇인가?
AWS(Amazon Web Services)는 Amazon에서 제공하는 클라우드 서비스 플랫폼으로, 컴퓨팅 파워, 데이터베이스 저장소, 콘텐츠 배포 등 다양한 기능을 제공합니다.
데이터 엔지니어링에서 AWS를 사용하면 확장 가능한 데이터 저장소와 처리 능력을 통해 효율적인 데이터 파이프라인을 구축할 수 있습니다.
2. AWS S3란?
S3(Simple Storage Service)는 AWS의 객체 스토리지 서비스로, 데이터를 안전하게 저장하고 필요할 때 쉽게 접근할 수 있게 해줍니다.
주요 특징:
- 데이터 백업 및 복구
- 정적 웹 호스팅
- 대규모 데이터 처리와 통합
3. AWS CLI를 사용한 S3 실습
AWS CLI를 통해 간단히 S3 버킷을 생성하고 파일을 업로드하는 방법을 알아보겠습니다.
사전 준비:
- AWS 계정을 생성하세요.
- AWS CLI를 설치하고 aws configure 명령어로 인증 정보를 설정하세요.
# 1. S3 버킷 생성
aws s3 mb s3://my-first-s3-bucket --region us-east-1
# 2. 로컬 파일 업로드
echo "Hello, AWS S3!" > hello.txt
aws s3 cp hello.txt s3://my-first-s3-bucket/
# 3. 버킷 내 파일 목록 확인
aws s3 ls s3://my-first-s3-bucket/
# 4. 파일 다운로드
aws s3 cp s3://my-first-s3-bucket/hello.txt ./downloaded_hello.txt
4. 코드 설명
- aws s3 mb: 새 버킷을 만듭니다.
- aws s3 cp: 파일을 업로드하거나 다운로드합니다.
- aws s3 ls: 버킷의 내용을 확인합니다.
5. 시각적 자료
AWS S3 대시보드 이미지
버킷을 생성하고 관리하는 데 유용한 S3 콘솔 화면을 캡처하여 첨부하세요.
코드 실행 화면 캡처
CLI 명령어를 실행한 터미널 결과도 포함하면 좋습니다.
다음 글 예고
다음 글에서는 AWS Lambda와 S3를 활용해 파일 처리를 자동화하는 방법을 다룹니다.
Tip: 이미지나 코드 블록에 눈에 띄는 강조를 추가해 가독성을 높여 보세요. 😊
728x90
'IT_Engineer > DataEngineer' 카테고리의 다른 글
[DE] 데이터 엔지니어를 위한 AWS#3 Glue: ETL 작업 자동화하기 (1) | 2024.11.24 |
---|---|
[DE] 에어플로우 DAG 최적화와 모니터링 기법 (0) | 2024.11.21 |
[DE] Spark + Airflow #2: Airflow와 Spark를 활용한 데이터 처리 파이프라인 완성하기 (3) | 2024.11.20 |
[DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 (0) | 2024.11.19 |
[DE] 데이터 엔지니어를 위한 AWS#2 Lambda: S3 이벤트 기반 파일 처리 자동화 (2) | 2024.11.18 |