본문 바로가기

IT_적응기
71

[DE] 데이터 엔지니어를 위한 AWS#3 Glue: ETL 작업 자동화하기 1. AWS Glue란?AWS Glue는 완전관리형 ETL(Extract, Transform, Load) 서비스로, 데이터 준비 및 통합을 단순화합니다.주요 특징:서버리스: 인프라 관리 불필요자동화: 데이터 카탈로그 생성 및 작업 스케줄링확장성: 대규모 데이터 처리 가능2. 시나리오RDS와 S3에 분산된 원본 데이터를 Glue를 통해 통합 및 변환하여 분석용 S3 버킷에 저장한다고 가정합니다.프로세스:RDS에서 사용자 데이터를 읽어옵니다.S3에 저장된 추가 데이터와 결합합니다.데이터 정제 및 변환 작업을 수행합니다.처리 결과를 S3에 저장합니다.3. AWS Glue 구성1) 데이터 카탈로그 생성Glue 데이터 카탈로그는 데이터 소스의 메타데이터를 관리합니다.AWS 콘솔에서 Glue > 데이터 카탈로그로 .. 2024. 11. 24.
[DE] 에어플로우 DAG 최적화와 모니터링 기법 [목표]1. 효율적인 DAG 설계를 위한 베스트 프랙티스2. DAG 성능을 개선하는 주요 기법3. 모니터링 도구와 알림 설정을 통해 운영 환경에서 안정성을 보장1. DAG 최적화: 베스트 프랙티스에어플로우는 DAG 설계 시 효율적인 구조와 모범 사례를 따르는 것이 중요합니다. 아래는 최적화를 위한 주요 팁입니다.1-1. 작업(Task) 병렬 처리작업 간 의존성을 최소화하여 병렬 처리를 최대화합니다.DAG 정의 시 max_active_tasks와 pool을 사용해 리소스 제약 조건을 관리합니다.from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetimedef sample_task(t.. 2024. 11. 21.
[DE] Spark + Airflow #2: Airflow와 Spark를 활용한 데이터 처리 파이프라인 완성하기 이전 글에서는 Spark를 Kubernetes 위에 배포하고, 실행하기까지의 과정을 다뤘습니다.2024.11.17 - [IT_Engineer/DataEngineer] - [DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 데이터 통합 > 데이터 처리의 단계를 거칩니다. AWS에서 이 과정을 지원하는 대표적인 서비스는 아래와 같습니다:AWS S3: 확장성, 데이터 가용성, " data-og-host="g1-kim.tistory.com" data-og-source-url="https://g1-kim.tistory.com/entry/DE-Spark-Airflow-1-Spark-on-Kubernetes-%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0" da.. 2024. 11. 20.
[DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 1. 배경현대 데이터 처리 시스템은 데이터 보관 > 데이터 통합 > 데이터 처리의 단계를 거칩니다. AWS에서 이 과정을 지원하는 대표적인 서비스는 아래와 같습니다:AWS S3: 확장성, 데이터 가용성, 보안, 성능을 제공하는 객체 스토리지 서비스입니다.AWS Glue: 데이터를 다양한 소스에서 추출, 변환, 통합하는 서버리스 데이터 통합 서비스입니다.AWS EMR: Apache Spark, Hive, Presto와 같은 오픈소스 프레임워크를 지원하여 대규모 데이터 분석과 머신러닝 작업을 수행할 수 있습니다.이번 글에서는 AWS EMR 대신 Kubernetes(K8s) 위에서 Spark를 실행하는 방법에 대해 다룹니다.2. Spark on Kubernetes 구성Kubernetes 위에서 Spark를 배.. 2024. 11. 19.
[DE] 데이터 엔지니어를 위한 AWS#2 Lambda: S3 이벤트 기반 파일 처리 자동화 1. AWS Lambda란?AWS Lambda는 서버를 관리하지 않고 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다.Lambda는 특정 이벤트(예: S3 버킷에 파일 업로드)를 트리거로 실행됩니다.2. 시나리오S3 버킷에 파일이 업로드되면 Lambda 함수가 트리거되어 해당 파일을 처리합니다.예제: S3에 업로드된 CSV 파일을 읽고, 데이터를 처리한 후 결과를 다른 S3 버킷에 저장하기.3. 준비 사항S3 버킷 2개 생성:input-bucket: 원본 파일 업로드용output-bucket: 처리된 파일 저장용IAM 역할 생성:Lambda가 S3에 접근할 수 있도록 적절한 권한을 가진 역할을 생성하세요.4. Lambda 함수 생성Python 코드 예제:import boto3import csvdef .. 2024. 11. 18.

최근댓글

최근글

티스토리툴바