본문 바로가기
728x90

IT_Engineer/DataEngineer
7

S3에 데이터가 분명 있는데, 아테나에서 조회가 안 될 때!! Athena와 S3를 활용하여 데이터를 조회하는 경우, 아테나에 테이블도 생성하고, S3 데이터도 잘 있고, 경로도 제대로 설정했음에도 불구하고 데이터 조회가 되지 않는 문제가 발생할 수 있습니다.이번 글에서는 이와 같은 상황에서 발생할 수 있는 문제와 그 해결 과정을 공유합니다.문제 상황S3에 데이터 파일이 업로드되어 있음.예: s3://example-bucket/data/dt=2024-12-29/ 경로에 파일이 존재.Athena에 테이블 생성 완료.테이블 정의CREATE EXTERNAL TABLE example_table ( column1 string, column2 string)PARTITIONED BY (dt date)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','.. 2024. 12. 31.
[DE] 데이터 엔지니어를 위한 AWS#3 Glue: ETL 작업 자동화하기 1. AWS Glue란?AWS Glue는 완전관리형 ETL(Extract, Transform, Load) 서비스로, 데이터 준비 및 통합을 단순화합니다.주요 특징:서버리스: 인프라 관리 불필요자동화: 데이터 카탈로그 생성 및 작업 스케줄링확장성: 대규모 데이터 처리 가능2. 시나리오RDS와 S3에 분산된 원본 데이터를 Glue를 통해 통합 및 변환하여 분석용 S3 버킷에 저장한다고 가정합니다.프로세스:RDS에서 사용자 데이터를 읽어옵니다.S3에 저장된 추가 데이터와 결합합니다.데이터 정제 및 변환 작업을 수행합니다.처리 결과를 S3에 저장합니다.3. AWS Glue 구성1) 데이터 카탈로그 생성Glue 데이터 카탈로그는 데이터 소스의 메타데이터를 관리합니다.AWS 콘솔에서 Glue > 데이터 카탈로그로 .. 2024. 11. 24.
[DE] 에어플로우 DAG 최적화와 모니터링 기법 [목표]1. 효율적인 DAG 설계를 위한 베스트 프랙티스2. DAG 성능을 개선하는 주요 기법3. 모니터링 도구와 알림 설정을 통해 운영 환경에서 안정성을 보장1. DAG 최적화: 베스트 프랙티스에어플로우는 DAG 설계 시 효율적인 구조와 모범 사례를 따르는 것이 중요합니다. 아래는 최적화를 위한 주요 팁입니다.1-1. 작업(Task) 병렬 처리작업 간 의존성을 최소화하여 병렬 처리를 최대화합니다.DAG 정의 시 max_active_tasks와 pool을 사용해 리소스 제약 조건을 관리합니다.from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetimedef sample_task(t.. 2024. 11. 21.
[DE] Spark + Airflow #2: Airflow와 Spark를 활용한 데이터 처리 파이프라인 완성하기 이전 글에서는 Spark를 Kubernetes 위에 배포하고, 실행하기까지의 과정을 다뤘습니다.2024.11.17 - [IT_Engineer/DataEngineer] - [DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 데이터 통합 > 데이터 처리의 단계를 거칩니다. AWS에서 이 과정을 지원하는 대표적인 서비스는 아래와 같습니다:AWS S3: 확장성, 데이터 가용성, " data-og-host="g1-kim.tistory.com" data-og-source-url="https://g1-kim.tistory.com/entry/DE-Spark-Airflow-1-Spark-on-Kubernetes-%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0" da.. 2024. 11. 20.
[DE] Spark + Airflow #1: Spark on Kubernetes 구현하기 1. 배경현대 데이터 처리 시스템은 데이터 보관 > 데이터 통합 > 데이터 처리의 단계를 거칩니다. AWS에서 이 과정을 지원하는 대표적인 서비스는 아래와 같습니다:AWS S3: 확장성, 데이터 가용성, 보안, 성능을 제공하는 객체 스토리지 서비스입니다.AWS Glue: 데이터를 다양한 소스에서 추출, 변환, 통합하는 서버리스 데이터 통합 서비스입니다.AWS EMR: Apache Spark, Hive, Presto와 같은 오픈소스 프레임워크를 지원하여 대규모 데이터 분석과 머신러닝 작업을 수행할 수 있습니다.이번 글에서는 AWS EMR 대신 Kubernetes(K8s) 위에서 Spark를 실행하는 방법에 대해 다룹니다.2. Spark on Kubernetes 구성Kubernetes 위에서 Spark를 배.. 2024. 11. 19.
728x90

최근댓글

최근글

티스토리툴바