본문 바로가기
728x90

IT_적응기
75

[DE] 에어플로우 DAG 최적화와 모니터링 기법 [목표]1. 효율적인 DAG 설계를 위한 베스트 프랙티스2. DAG 성능을 개선하는 주요 기법3. 모니터링 도구와 알림 설정을 통해 운영 환경에서 안정성을 보장1. DAG 최적화: 베스트 프랙티스에어플로우는 DAG 설계 시 효율적인 구조와 모범 사례를 따르는 것이 중요합니다. 아래는 최적화를 위한 주요 팁입니다.1-1. 작업(Task) 병렬 처리작업 간 의존성을 최소화하여 병렬 처리를 최대화합니다.DAG 정의 시 max_active_tasks와 pool을 사용해 리소스 제약 조건을 관리합니다.from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetimedef sample_task(t.. 2024. 11. 21.
[DE] Spark + Airflow #2: Airflow와 Spark를 활용한 데이터 처리 파이프라인 완성하기 이전 글에서는 Spark를 Kubernetes 위에 배포하고, 실행하기까지의 과정을 다뤘습니다.2024.11.17 - [IT_Engineer/DataEngineer] - [DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 데이터 통합 > 데이터 처리의 단계를 거칩니다. AWS에서 이 과정을 지원하는 대표적인 서비스는 아래와 같습니다:AWS S3: 확장성, 데이터 가용성, " data-og-host="g1-kim.tistory.com" data-og-source-url="https://g1-kim.tistory.com/entry/DE-Spark-Airflow-1-Spark-on-Kubernetes-%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0" da.. 2024. 11. 20.
[DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 1. 배경현대 데이터 처리 시스템은 데이터 보관 > 데이터 통합 > 데이터 처리의 단계를 거칩니다. AWS에서 이 과정을 지원하는 대표적인 서비스는 아래와 같습니다:AWS S3: 확장성, 데이터 가용성, 보안, 성능을 제공하는 객체 스토리지 서비스입니다.AWS Glue: 데이터를 다양한 소스에서 추출, 변환, 통합하는 서버리스 데이터 통합 서비스입니다.AWS EMR: Apache Spark, Hive, Presto와 같은 오픈소스 프레임워크를 지원하여 대규모 데이터 분석과 머신러닝 작업을 수행할 수 있습니다.이번 글에서는 AWS EMR 대신 Kubernetes(K8s) 위에서 Spark를 실행하는 방법에 대해 다룹니다.2. Spark on Kubernetes 구성Kubernetes 위에서 Spark를 배.. 2024. 11. 19.
[DE] 데이터 엔지니어를 위한 AWS#2 Lambda: S3 이벤트 기반 파일 처리 자동화 1. AWS Lambda란?AWS Lambda는 서버를 관리하지 않고 코드를 실행할 수 있는 서버리스 컴퓨팅 서비스입니다.Lambda는 특정 이벤트(예: S3 버킷에 파일 업로드)를 트리거로 실행됩니다.2. 시나리오S3 버킷에 파일이 업로드되면 Lambda 함수가 트리거되어 해당 파일을 처리합니다.예제: S3에 업로드된 CSV 파일을 읽고, 데이터를 처리한 후 결과를 다른 S3 버킷에 저장하기.3. 준비 사항S3 버킷 2개 생성:input-bucket: 원본 파일 업로드용output-bucket: 처리된 파일 저장용IAM 역할 생성:Lambda가 S3에 접근할 수 있도록 적절한 권한을 가진 역할을 생성하세요.4. Lambda 함수 생성Python 코드 예제:import boto3import csvdef .. 2024. 11. 18.
[DE] 데이터 엔지니어를 위한 AWS 입문#1 : AWS 기초와 S3 사용법 1. AWS란 무엇인가?AWS(Amazon Web Services)는 Amazon에서 제공하는 클라우드 서비스 플랫폼으로, 컴퓨팅 파워, 데이터베이스 저장소, 콘텐츠 배포 등 다양한 기능을 제공합니다.데이터 엔지니어링에서 AWS를 사용하면 확장 가능한 데이터 저장소와 처리 능력을 통해 효율적인 데이터 파이프라인을 구축할 수 있습니다.2. AWS S3란?S3(Simple Storage Service)는 AWS의 객체 스토리지 서비스로, 데이터를 안전하게 저장하고 필요할 때 쉽게 접근할 수 있게 해줍니다.주요 특징:데이터 백업 및 복구정적 웹 호스팅대규모 데이터 처리와 통합3. AWS CLI를 사용한 S3 실습AWS CLI를 통해 간단히 S3 버킷을 생성하고 파일을 업로드하는 방법을 알아보겠습니다.사전 준비.. 2024. 11. 17.
728x90

최근댓글

최근글

티스토리툴바