1.
Introduction
2.
Prerequisites
3.
Airflow Environment
4.
Airflow Basics
5.
Airflow Advanced
5-1.
Variable
5-2.
Xcoms
5-3.
Pools
5-4.
Branching
5-5.
Trigger Rules
5-6.
SubDAGs
6.
DW pipeline project
a.
Airflow v1.10.12
1)
ODS SubDAG
2)
DW SubDAG
3)
Redshift SubDAG
4)
Main DAG
5)
DAG Run
b.
Airflow v2.0.2
1)
AWS 환경 구성
2)
Airflow UI
3)
Airflow DAG 개발
4)
Airflow DAG 실행
7.
ML pipeline project (v2.0.2)
7-1.
AWS 환경 구성
7-2.
학습 데이터
7-3.
Sagemaker Config 파일 설정
7-4.
데이터 준비
7-5.
Airflow DAG 개발
7-6.
Airflow DAG 실행
8.
Clean Up
References
Privacy
|
Site Terms
| © 2021 Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon MWAA Workshop
>
DW pipeline project
> Airflow v1.10.12
Airflow v1.10.12
이 번 모듈은 Airflow 클러스터 v1.10.12에서 수행 합니다.
실습은 다음 모듈 순서대로 진행 됩니다.
1) ODS subDAG
2) DW subDAG
3) Redshift subDAG
4) Main DAG
5) DAG run