Django가 고장날때까지

[Airflow 밋업] 250213

1. Airflow 에러 메시지 개선 및 모니터링 최적화발표자는 Airflow에서 발생하는 에러 메시지를 개선하고 디버깅을 효율적으로 수행하는 방법을 공유했습니다.주요 내용Airflow 콜백 시스템 개선테스크가 성공, 실패, 리트라이, 스킵될 때 콜백을 활용해 특정 액션을 자동 실행하도록 설정.예제 코드를 통해 콜백을 DAG 레벨 및 테스크 레벨에서 정의하는 방법 소개.Slack 알림 메시지 개선기존 Slack 알림은 제공하는 정보가 부족해 디버깅이 어려웠음.개선 내용:DAG 및 Task 상세 링크 추가.실패한 오퍼레이터 종류 표시 (PythonOperator, SparkOperator 등).Task 실행 시간(Duration) 포함 → 원인 분석 용이.Databricks 작업 실패 시 로그 접근성 향상..
카테고리 없음 2025. 2. 14. 17:05
[airflow] 분석 스케줄러 컨테이너 이름과 host_name 이름이 같음

http://localhost:8080/home?lastrun=failed -> 이 필터를 `run=all` 로 해야하고,dag의 실행과 수행과 관련된 내용은 웹서버 컨테이너 로그는 모든 http reqeust 요청에대한 정보가 남고 -> schueduler 컨테이너에 남습니다.
카테고리 없음 2025. 2. 7. 16:27
py

==================== HISTOGRAM ====================Histogram. Top 50 by instance count [All-objects] [Only-strong-ref]:    1: [3.45M/ 170MB] [2.79M/ 137MB] byte[]    2: [3.39M/74.6MB] [2.73M/60.2MB] java.lang.String    3: [ 820K/42.6MB] [ 772K/40.1MB] java.util.LinkedHashMap$Entry    4: [ 780K/46.8MB] [ 735K/44.1MB] cohttp://m.intellij.psi.impl.source.tree.LeafPsiElement    5: [ 755K/27.1MB] [ 4..
카테고리 없음 2025. 2. 7. 15:28
Prev 1 2 3 4 5 6 7 ··· 13 Next