CI/CD

이 글에서 다루는 것 DagBag 기반 test_dag_integrity.py로 DAG 파싱 오류·핵심 task 존재·운영 설정을 배포 전에 자동 검증하고, GitHub Actions로 push 시점에 CI를 실행하는 구조를 다룹니다. 선수지식 Airflow 6단계: KubernetesExecutor 선택 이유 — CeleryExecutor 대비 장단점 분석 이 단계에서 해결하려는 문제 DAG 파일에 오타가 하나 들어가면 Airflow Scheduler가 파싱 오류를 감지하고 해당 DAG을 비활성화한다. 문제를 발견하는 것은 배포 후 수십 분이 지난 시점이다. 이 비용을 push 시점으로 앞당겨서 파싱 오류를 운영 전에 잡는 구조를 만든다. ...

이 글에서 다루는 것 Runbook / Security / Proof / Audit 운영 문서 구조와 Proof 파일 생성 방식 선수지식 GitOps 기반 E2E ML Platform - 운영 제어 구조 운영 문서화 Runbook / Security / Proof 디렉토리까지 남긴 이유 들어가며 많은 프로젝트는 다음 단계에서 멈춥니다. 코드 작성 README 작성 하지만 실제 운영 환경에서는 다음 문제가 발생합니다. 서비스 장애 발생 운영자가 시스템 구조를 모름 복구 절차 문서 없음 보안 정책 위치 불명확 이 경우 시스템이 아무리 잘 만들어져 있어도 ...

🧠 Proof of Automation — 작동 검증 루프 하나의 커밋으로 CI → CD → 학습/등록 → READY → 핫스왑 → 실험 → 관제까지 자동화되었음을 시각적으로 증명합니다. 🧭 목차 # 섹션 0 준비 (CI/CD·GitOps·Secrets 기본 세팅) 1 CI 실행 (GitHub Actions) 2 ArgoCD 자동 동기화 3 Airflow 학습→등록→READY (FAIL/SUCCESS + Slack) 4 MLflow 모델 등록·별칭·아티팩트 5 FastAPI 핫스왑 (/reload) 6 수동 롤백 (운영 복구 가드레일) 7 로그 계층 (Airflow=S3 / FastAPI=NFS) 8 ArgoCD↔Slack 운영 관제 9 보안 자동화 (AWS Rotation + SealedSecrets Re-seal) 10 트래픽 실험 (A/B · Canary · Blue-Green) 11 One-Commit Flow 전체 체인 검증 0) 🧰 준비 (GitOps) charts/fastapi/values/{dev,prod}.yaml에서 ALIAS_SELECTION_MODE/DEFAULT_ALIAS/CANARY_PERCENT 값을 시나리오별로 수정 → git commit → git push (테스트 스크립트) /ops/ab_test.sh 저장 (아래 제공) 1) 🧪 CI 진입 (GitHub Actions) ...

에필로그 — “한 번의 커밋으로 끝까지 가는 자율형 MLOps 플랫폼” 📌 전체 경로 요약 순서 주제 0 🔗 FastAPI A/B·Canary·Blue-Green 서빙 베이스 1 🔗 핫스왑 고도화 (/reload 보안·DAG 자동화) 2 🔗 Slack Alert 통합 (FastAPI·Airflow 공용) 3 🔗 모델 롤백 자동화 (등록 실패 대비 복구) 4 🔗 FastAPI 로그 안정화 (NFS + PV/PVC + Loguru) 5 🔗 Airflow 안정화 & FastAPI HTTPS 보안 6 🔗 GitOps 고도화 (Argo CD·MetalLB·ApplicationSet) 7 🔗 Argo CD Notifications 자동화 (Slack 연동) 8 🔗 CI/CD 운영 자동화 (GitHub Actions·Helm Lint) 9 🔗 시크릿 관리 & 키 회전 자동화 (AWS·SealedSecret) 10 🔗 검증 (Proof of Automation) 🎯 전체 회고 요약 (0~9단계) 단계 핵심 목표 주요 개선점 0 FastAPI 리뉴얼 /predict·/variant·/reload로 A/B·Canary·Blue-Green 공용 라우팅 1 핫스왑 보안/자동화 토큰 인증 /reload + Ingress 화이트리스트/TLS 2 Slack Alert 통합 FastAPI·Airflow 공용 알림 함수 + 실패 콜백 Slack 연동 3 롤백 자동화 등록 실패 시 이전 버전 롤백 + READY 후 자동 /reload 4 로그 안정화 FastAPI=NFS, Airflow=S3 로그 계층 분리·표준화 5 Airflow 안정화·HTTPS Sensor/의존성 정리 + cert-manager 기반 TLS 6 GitOps 전환 MetalLB + SealedSecret + ApplicationSet 배포 구조 7 GitOps 모니터링 ArgoCD → Slack Sync/Health 상태 알림 8 CI/CD 고도화 Helm Lint + kubeconform + yamllint PR/머지 파이프라인 9 SecretOps 표준화 AWS Key Rotation + SealedSecret Re-seal 자동화 🔄 핵심 ...

이 글에서 다루는 것 AWS IAM 키 회전과 SealedSecret 재암호화를 스크립트로 표준화하고, GitOps 자동 반영까지 이어지는 반자동 SecretOps 체계를 구축하는 과정을 다룹니다. 선수지식 MLOps 운영 고도화 8단계: CI/CD 운영 자동화 — GitHub Actions + Helm Lint 파이프라인 이 단계에서 해결하려는 문제 MLOps에서는 모델보다 먼저 ‘비밀’이 무너진다. AWS 키처럼 주기적으로 교체해야 하는 값은 자동화가 필요하지만, JWT·Slack Webhook처럼 교체 시 영향이 큰 값은 운영자가 직접 결정해야 한다. 자동화할 것과 사람이 확인해야 할 것을 구분한 SecretOps 체계를 확립한다. ...

이 글에서 다루는 것 GitHub Actions로 Helm lint + kubeconform + yamllint 정적 검증을 자동화하고, ArgoCD GitOps 배포 + FastAPI alias 기반 트래픽 실험까지 하나의 커밋으로 이어지는 CI/CD 운영 자동화 구조를 다룹니다. 선수지식 MLOps 운영 고도화 6단계: GitOps 고도화 — ArgoCD 동기화 전략 정교화 이 단계에서 해결하려는 문제 운영 환경에서 사고는 대부분 배포 전에 체크되지 못한 문제, 수동 배포의 실수, 배포 후 검증 부재에서 시작된다. CI 단계에서 문제를 막고, CD에서는 GitOps가 원하는 상태를 자동으로 보장하며, 배포 직후 FastAPI alias로 모델 트래픽까지 자동 검증되는 구조를 만든다. ...