본문 바로가기
728x90

IT_Engineer/DataEngineer
7

[DE] 데이터 엔지니어를 위한 AWS#2 Lambda: S3 이벤트 기반 파일 처리 자동화 1. AWS Lambda란?AWS Lambda는 서버를 관리하지 않고 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다.Lambda는 특정 이벤트(예: S3 버킷에 파일 업로드)를 트리거로 실행됩니다.2. 시나리오S3 버킷에 파일이 업로드되면 Lambda 함수가 트리거되어 해당 파일을 처리합니다.예제: S3에 업로드된 CSV 파일을 읽고, 데이터를 처리한 후 결과를 다른 S3 버킷에 저장하기.3. 준비 사항S3 버킷 2개 생성:input-bucket: 원본 파일 업로드용output-bucket: 처리된 파일 저장용IAM 역할 생성:Lambda가 S3에 접근할 수 있도록 적절한 권한을 가진 역할을 생성하세요.4. Lambda 함수 생성Python 코드 예제:import boto3import csvdef .. 2024. 11. 18.
[DE] 데이터 엔지니어를 위한 AWS 입문#1 : AWS 기초와 S3 사용법 1. AWS란 무엇인가?AWS(Amazon Web Services)는 Amazon에서 제공하는 클라우드 서비스 플랫폼으로, 컴퓨팅 파워, 데이터베이스 저장소, 콘텐츠 배포 등 다양한 기능을 제공합니다.데이터 엔지니어링에서 AWS를 사용하면 확장 가능한 데이터 저장소와 처리 능력을 통해 효율적인 데이터 파이프라인을 구축할 수 있습니다.2. AWS S3란?S3(Simple Storage Service)는 AWS의 객체 스토리지 서비스로, 데이터를 안전하게 저장하고 필요할 때 쉽게 접근할 수 있게 해줍니다.주요 특징:데이터 백업 및 복구정적 웹 호스팅대규모 데이터 처리와 통합3. AWS CLI를 사용한 S3 실습AWS CLI를 통해 간단히 S3 버킷을 생성하고 파일을 업로드하는 방법을 알아보겠습니다.사전 준비.. 2024. 11. 17.
728x90

최근댓글

최근글

티스토리툴바