본문 바로가기

IT_적응기
74

Session Manager Plugin is not found 에러 트러블슈팅 에러 현상 및 원인AWS CLI를 사용해 ECS 컨테이너에서 execute-command 명령어를 실행하려 할 때, 아래와 같은 에러가 발생했습니다.SessionManagerPlugin is not found. Please refer to SessionManager Documentation here: http://docs.aws.amazon.com/console/systems-manager/session-manager-plugin-not-found이 에러는 AWS Session Manager Plugin이 설치되지 않았거나, CLI에서 플러그인을 인식하지 못하는 경우 발생합니다.Session Manager Plugin은 AWS CLI가 컨테이너에 안전하게 접속할 수 있도록 지원합니다.트러블슈팅 절차1. .. 2024. 11. 28.
[AWS] AWS 기초 #2. AWS ECS와 Fargate: ECS와 EC2, Fargate의 관계 #1 이야기 -AWS ECS(Amazon Elastic Container Service)는 EC2와 Fargate를 포함한 컨테이너 오케스트레이션 서비스지만, ECS 자체는 EC2와 Fargate를 통합한 개념이 아닙니다.대신 ECS는 컨테이너를 관리하는 프레임워크이며, 애플리케이션 실행 방식(Launch Type)에 따라 EC2와 Fargate를 선택적으로 사용할 수 있습니다.이를 조금 더 구체적으로 설명하자면:ECS와 EC2, Fargate의 관계1. ECS (Elastic Container Service):컨테이너화된 애플리케이션의 배포, 관리, 확장을 담당하는 서비스입니다.애플리케이션을 실행하기 위한 환경은 두 가지 옵션 중 하나를 선택할 수 있습니다:EC2 Launch TypeFargate La.. 2024. 11. 27.
[AWS] AWS 기초 #1. AWS ECS와 Fargate: 컨테이너 오케스트레이션의 시작 1. AWS ECS란?AWS ECS(Amazon Elastic Container Service)는 컨테이너화된 애플리케이션을 실행하고 관리하기 위한 완전관리형 컨테이너 오케스트레이션 서비스입니다.주요 특징:확장성: 대규모 컨테이너 워크로드를 유연하게 확장 가능유연한 배포 옵션: EC2, Fargate, 외부 서버 등 다양한 환경에서 실행 가능AWS와의 긴밀한 통합: IAM, VPC, CloudWatch 등 AWS 서비스와 통합ECS는 컨테이너를 클러스터로 구성하고, 클러스터 내에서 애플리케이션을 실행합니다.2. AWS Fargate란?Fargate는 컨테이너 실행을 위한 서버리스 컴퓨팅 엔진으로, EC2 인스턴스를 관리하지 않고도 컨테이너를 실행할 수 있도록 해줍니다.Fargate의 주요 장점:서버리스:.. 2024. 11. 26.
[DE] 데이터 엔지니어를 위한 AWS#3 Glue: ETL 작업 자동화하기 1. AWS Glue란?AWS Glue는 완전관리형 ETL(Extract, Transform, Load) 서비스로, 데이터 준비 및 통합을 단순화합니다.주요 특징:서버리스: 인프라 관리 불필요자동화: 데이터 카탈로그 생성 및 작업 스케줄링확장성: 대규모 데이터 처리 가능2. 시나리오RDS와 S3에 분산된 원본 데이터를 Glue를 통해 통합 및 변환하여 분석용 S3 버킷에 저장한다고 가정합니다.프로세스:RDS에서 사용자 데이터를 읽어옵니다.S3에 저장된 추가 데이터와 결합합니다.데이터 정제 및 변환 작업을 수행합니다.처리 결과를 S3에 저장합니다.3. AWS Glue 구성1) 데이터 카탈로그 생성Glue 데이터 카탈로그는 데이터 소스의 메타데이터를 관리합니다.AWS 콘솔에서 Glue > 데이터 카탈로그로 .. 2024. 11. 24.
[DE] 에어플로우 DAG 최적화와 모니터링 기법 [목표]1. 효율적인 DAG 설계를 위한 베스트 프랙티스2. DAG 성능을 개선하는 주요 기법3. 모니터링 도구와 알림 설정을 통해 운영 환경에서 안정성을 보장1. DAG 최적화: 베스트 프랙티스에어플로우는 DAG 설계 시 효율적인 구조와 모범 사례를 따르는 것이 중요합니다. 아래는 최적화를 위한 주요 팁입니다.1-1. 작업(Task) 병렬 처리작업 간 의존성을 최소화하여 병렬 처리를 최대화합니다.DAG 정의 시 max_active_tasks와 pool을 사용해 리소스 제약 조건을 관리합니다.from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetimedef sample_task(t.. 2024. 11. 21.

최근댓글

최근글

티스토리툴바