Observability

이 글에서 다루는 것 dev/prod 완전 분리된 Loki + Promtail 로그 파이프라인을 구축하고, LogQL 기반으로 FastAPI/Airflow 로그를 중앙에서 조회할 수 있는 구조를 만드는 과정을 다룹니다. 선수지식 Observability 3단계: Prometheus/KSM/Kubelet 완전 분리 구조 이 단계에서 해결하려는 문제 운영형 MLOps에서 가장 위험한 장애는 모델이 아닌 로그가 안 보이는 순간이다. FastAPI, MLflow, Airflow가 모두 돌아가도, 로그가 한 번 섞이거나 누락되면 장애 원인을 찾지 못해 운영 자체가 멈춰버린다. dev/prod를 완전히 분리한 Loki + Promtail 로그 파이프라인을 구축해, 모델 핫스왑, 에러 패턴, API 이상 징후까지 한눈에 보이도록 만든다. ...

이 글에서 다루는 것 dev/prod 간 메트릭이 교차 수집되는 문제를 라벨 기반으로 완전 분리하고, Prometheus TSDB를 local-path로 전환하여 성능과 안정성을 개선하는 과정을 다룹니다. 선수지식 Observability 2단계: Alertmanager Slack & 트러블슈팅 이 단계에서 해결하려는 문제 dev와 prod는 분리돼 있어야 하는데, 정작 관측 데이터에서는 서로 섞여 보이는 문제가 계속 생겼다. Prometheus/KSM/Kubelet의 라벨과 셀렉터가 조금만 어긋나도 dev에서 prod 메트릭을 읽는 심각한 혼선이 발생한다. 이번 단계에서는 관측 스택을 라벨 기반으로 완전히 절단하는 데 집중한다. 그리고 TSDB는 로컬 디스크로 옮겨 속도와 안정성을 끌어올리고, NFS는 나머지 관측 도구 전용으로 재정비한다. ...

이 글에서 다루는 것 Alertmanager 설정을 SealedSecret으로 관리하고, dev/prod 각각의 Slack 채널로 알람이 정확히 흐르는 관측 파이프라인을 완성하는 과정을 다룹니다. 선수지식 Observability 1단계: kube-prometheus-stack + GitOps 구축 이 단계에서 해결하려는 문제 모델이 잘 학습되고 잘 배포되는 것보다, 문제가 생겼을 때 즉시 감지되는 것이 더 중요할 때가 많다. dev/prod 각각에서 알람이 정확한 Slack 채널로, 깨짐 없이 흐르는 관측 파이프라인을 먼저 완성해야 한다. 이 기반이 갖춰져야 이후 FastAPI 지연, 핫스왑 실패, DAG 에러 같은 운영형 MLOps 이벤트를 실시간으로 감지할 수 있다. ...

🧠 Proof of Automation — 작동 검증 루프 하나의 커밋으로 CI → CD → 학습/등록 → READY → 핫스왑 → 실험 → 관제까지 자동화되었음을 시각적으로 증명합니다. 🧭 목차 # 섹션 0 준비 (CI/CD·GitOps·Secrets 기본 세팅) 1 CI 실행 (GitHub Actions) 2 ArgoCD 자동 동기화 3 Airflow 학습→등록→READY (FAIL/SUCCESS + Slack) 4 MLflow 모델 등록·별칭·아티팩트 5 FastAPI 핫스왑 (/reload) 6 수동 롤백 (운영 복구 가드레일) 7 로그 계층 (Airflow=S3 / FastAPI=NFS) 8 ArgoCD↔Slack 운영 관제 9 보안 자동화 (AWS Rotation + SealedSecrets Re-seal) 10 트래픽 실험 (A/B · Canary · Blue-Green) 11 One-Commit Flow 전체 체인 검증 0) 🧰 준비 (GitOps) charts/fastapi/values/{dev,prod}.yaml에서 ALIAS_SELECTION_MODE/DEFAULT_ALIAS/CANARY_PERCENT 값을 시나리오별로 수정 → git commit → git push (테스트 스크립트) /ops/ab_test.sh 저장 (아래 제공) 1) 🧪 CI 진입 (GitHub Actions) ...

이 글에서 다루는 것 kube-prometheus-stack을 dev/prod 네임스페이스로 완전 분리하고, ArgoCD GitOps로 재현 가능한 Observability 뼈대를 구축하는 과정을 다룹니다. 선수지식 Airflow 7단계: DAG CI 구축 — Level 3 마지막 포스트 이 단계에서 해결하려는 문제 모니터링은 한 번 세팅해두고 끝나는 게 아니라, 클러스터를 갈아엎어도 같은 모습으로 다시 살아나야 하는 인프라다. kube-prometheus-stack을 dev/prod로 완전히 분리하고, 모든 구성을 YAML + GitOps로 고정해서 Observability 스택을 재현할 수 있는 뼈대를 먼저 만든다. 🎯 핵심 요약 목표 ...

에필로그 — “한 번의 커밋으로 끝까지 가는 자율형 MLOps 플랫폼” 📌 전체 경로 요약 순서 주제 0 🔗 FastAPI A/B·Canary·Blue-Green 서빙 베이스 1 🔗 핫스왑 고도화 (/reload 보안·DAG 자동화) 2 🔗 Slack Alert 통합 (FastAPI·Airflow 공용) 3 🔗 모델 롤백 자동화 (등록 실패 대비 복구) 4 🔗 FastAPI 로그 안정화 (NFS + PV/PVC + Loguru) 5 🔗 Airflow 안정화 & FastAPI HTTPS 보안 6 🔗 GitOps 고도화 (Argo CD·MetalLB·ApplicationSet) 7 🔗 Argo CD Notifications 자동화 (Slack 연동) 8 🔗 CI/CD 운영 자동화 (GitHub Actions·Helm Lint) 9 🔗 시크릿 관리 & 키 회전 자동화 (AWS·SealedSecret) 10 🔗 검증 (Proof of Automation) 🎯 전체 회고 요약 (0~9단계) 단계 핵심 목표 주요 개선점 0 FastAPI 리뉴얼 /predict·/variant·/reload로 A/B·Canary·Blue-Green 공용 라우팅 1 핫스왑 보안/자동화 토큰 인증 /reload + Ingress 화이트리스트/TLS 2 Slack Alert 통합 FastAPI·Airflow 공용 알림 함수 + 실패 콜백 Slack 연동 3 롤백 자동화 등록 실패 시 이전 버전 롤백 + READY 후 자동 /reload 4 로그 안정화 FastAPI=NFS, Airflow=S3 로그 계층 분리·표준화 5 Airflow 안정화·HTTPS Sensor/의존성 정리 + cert-manager 기반 TLS 6 GitOps 전환 MetalLB + SealedSecret + ApplicationSet 배포 구조 7 GitOps 모니터링 ArgoCD → Slack Sync/Health 상태 알림 8 CI/CD 고도화 Helm Lint + kubeconform + yamllint PR/머지 파이프라인 9 SecretOps 표준화 AWS Key Rotation + SealedSecret Re-seal 자동화 🔄 핵심 ...