Airflow

이 글에서 다루는 것 PythonOperator로 MLflow 실험을 자동화하여, 하이퍼파라미터·메트릭·모델을 자동 기록하는 Airflow + MLflow 연동 패턴을 다룹니다. 선수지식 Airflow 4단계: BashOperator로 외부 학습 스크립트 실행 — 외부 스크립트 분리 패턴 이 단계에서 해결하려는 문제 모델을 학습할 때마다 하이퍼파라미터, 정확도, 모델 아티팩트를 수동으로 기록하면 실험 재현이 불가능합니다. MLflow Tracking은 이 모든 정보를 자동 기록하고, Airflow DAG에서 호출하면 학습 파이프라인 자체를 자동화할 수 있습니다. 실습 코드: GitHub (Airflow_and_MLflow) 🧭 실습 전체 흐름 요약 [1단계] MLflow 실험 스크립트 작성 [2단계] Airflow DAG 구성 [3단계] DAG 실행 및 파라미터/메트릭 확인 [4단계] 모델 저장 및 로깅 상태 점검 📁 디렉토리 구조 airflow/ ├── dags/ │ ├── train_with_mlflow.py ← DAG 파일 ├── ml_code/ │ ├── train_mlflow.py ← MLflow 연동 학습 스크립트 └── mlruns/ ← MLflow 로깅 결과 저장 폴더 (자동 생성) 🧪 1단계: MLflow 학습 스크립트 (핵심 부분) # airflow/ml_code/train_mlflow.py def run_experiment(): mlflow.set_tracking_uri("file:/opt/airflow/mlruns") mlflow.set_experiment("airflow_mlflow_example") with mlflow.start_run(): data = load_iris() X, y = data.data, data.target model = RandomForestClassifier(n_estimators=50, max_depth=3) model.fit(X, y) preds = model.predict(X) # 학습 데이터로 평가 — 실제 운영에서는 train_test_split 필수 acc = accuracy_score(y, preds) mlflow.log_param("n_estimators", 50) mlflow.log_param("max_depth", 3) mlflow.log_metric("accuracy", acc) mlflow.sklearn.log_model(model, "model") 전체 코드: GitHub (train_mlflow.py) ...

이 글에서 다루는 것 DAG 내부에 로직을 넣지 않고, 별도 Python 학습 스크립트(train.py)를 BashOperator로 호출하여 코드와 오케스트레이션을 분리하는 패턴을 다룹니다. 선수지식 Airflow 3단계: ML 파이프라인 DAG 구성 — DAG 구조와 XCom 전달 이 단계에서 해결하려는 문제 이전 단계에서는 학습 로직을 DAG 파일 안에 직접 작성했습니다. 하지만 실무에서는 학습 코드가 수백 줄 이상이고, 데이터 사이언티스트가 별도로 관리합니다. DAG는 오케스트레이션만 담당하고, 학습 코드는 독립 스크립트로 분리해야 유지보수와 협업이 가능합니다. 실습 코드: GitHub (BashOperator_and_Python_ML_Script) ...

이 글에서 다루는 것 데이터 로딩 → 모델 학습 → 모델 저장의 ML 워크플로우를 DAG로 구성하고, XCom으로 단계별 결과를 전달하는 패턴을 다룹니다. 선수지식 Airflow 2단계: Python & Bash Operator + XCom — XCom 데이터 전달 패턴 이 단계에서 해결하려는 문제 실제 ML 파이프라인은 데이터 준비 → 모델 학습 → 모델 저장이 순차적으로 연결되어야 합니다. 각 단계의 결과(데이터 경로, 모델 경로)를 다음 단계에 전달해야 하고, 실패 시 어느 단계에서 문제가 생겼는지 추적해야 합니다. 이 글에서는 가상 데이터로 이 흐름을 시뮬레이션합니다. ...

이 글에서 다루는 것 PythonOperator와 BashOperator를 하나의 DAG에 조합하고, XCom으로 Task 간 데이터를 전달하는 패턴을 다룹니다. 선수지식 Airflow 1단계: 로컬 환경에서 기본 DAG 실행 — DAG 구조와 실행 환경 이 단계에서 해결하려는 문제 실제 파이프라인에서는 여러 Task가 순서대로 실행되면서 결과를 다음 Task에 넘겨야 합니다. 예를 들어 학습 Task가 모델 경로를 생성하면 배포 Task가 그 경로를 받아야 합니다. Airflow의 XCom은 이 Task 간 소규모 데이터 전달을 담당합니다. 실습 코드: GitHub (PythonOperator_and_XCom) ...

이 글에서 다루는 것 Docker Compose로 Airflow를 로컬에 띄우고, 첫 DAG를 작성·실행·로그 확인하는 전체 과정을 다룹니다. 선수지식 Kubernetes 1~5단계 수료 권장 (Docker 기본 지식 필수) Kubernetes를 건너뛰고 이 글부터 시작해도 됩니다 (Docker만 설치되어 있으면 가능) 이 단계에서 해결하려는 문제 ML 파이프라인은 데이터 수집 → 전처리 → 학습 → 평가 → 배포의 여러 단계로 구성됩니다. 이 단계들을 수동으로 실행하면 재현성이 없고 장애 추적이 어렵습니다. Airflow는 이 워크플로우를 DAG(방향 비순환 그래프)로 정의하고, 스케줄링·재시도·로그를 자동 관리합니다. ...