목록분류 전체보기 (42)

Django가 고장날때까지

oh-my-zsh 업데이트 오류 해결

https://shuiky.tistory.com/entry/agnosterzsh-theme91-parse-error-near
카테고리 없음 2025. 2. 18. 13:47
[airflow] @task 속성에 대해서 알아보자

def _run_task_by_selected_method(args, dag: DAG, ti: TaskInstance) -> None | TaskReturnCode: """ Run the task based on a mode. Any of the 3 modes are available: - using LocalTaskJob - as raw task - by executor """ if args.local: return _run_task_by_local_task_job(args, ti) if args.raw: return _run_raw_task(args, ti) _run_task_by_executor(args, dag, ti)..
카테고리 없음 2025. 2. 18. 13:41
[airflow] dag 만들어주는거 비교 한 번해보자

https://github.com/pipeline-tools/gusty dag-factory  toss dagbuilder 밋업
카테고리 없음 2025. 2. 17. 17:49
[Airflow 밋업] 250213

1. Airflow 에러 메시지 개선 및 모니터링 최적화발표자는 Airflow에서 발생하는 에러 메시지를 개선하고 디버깅을 효율적으로 수행하는 방법을 공유했습니다.주요 내용Airflow 콜백 시스템 개선테스크가 성공, 실패, 리트라이, 스킵될 때 콜백을 활용해 특정 액션을 자동 실행하도록 설정.예제 코드를 통해 콜백을 DAG 레벨 및 테스크 레벨에서 정의하는 방법 소개.Slack 알림 메시지 개선기존 Slack 알림은 제공하는 정보가 부족해 디버깅이 어려웠음.개선 내용:DAG 및 Task 상세 링크 추가.실패한 오퍼레이터 종류 표시 (PythonOperator, SparkOperator 등).Task 실행 시간(Duration) 포함 → 원인 분석 용이.Databricks 작업 실패 시 로그 접근성 향상..
카테고리 없음 2025. 2. 14. 17:05
[airflow] 분석 스케줄러 컨테이너 이름과 host_name 이름이 같음

http://localhost:8080/home?lastrun=failed -> 이 필터를 `run=all` 로 해야하고,dag의 실행과 수행과 관련된 내용은 웹서버 컨테이너 로그는 모든 http reqeust 요청에대한 정보가 남고 -> schueduler 컨테이너에 남습니다.
카테고리 없음 2025. 2. 7. 16:27
py

==================== HISTOGRAM ====================Histogram. Top 50 by instance count [All-objects] [Only-strong-ref]:    1: [3.45M/ 170MB] [2.79M/ 137MB] byte[]    2: [3.39M/74.6MB] [2.73M/60.2MB] java.lang.String    3: [ 820K/42.6MB] [ 772K/40.1MB] java.util.LinkedHashMap$Entry    4: [ 780K/46.8MB] [ 735K/44.1MB] cohttp://m.intellij.psi.impl.source.tree.LeafPsiElement    5: [ 755K/27.1MB] [ 4..
카테고리 없음 2025. 2. 7. 15:28
[Airflow] - Airflow에서 DAG를 식별하는 과정

https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/dagfile-processing.html#dag-file-processing DAG File Processing — Airflow Documentation airflow.apache.org    위치: airflow/dag_processing/manager.pyairflow.dag_processing.manager.DagFileProcessorManager@attrs.defineclass DagFileProcessorManager(LoggingMixin): """ Manage processes responsible for parsing DAGs. ..
카테고리 없음 2025. 2. 7. 15:18
docker issue - com-docker-socket-was-not-opened-because-it-contains-malware

https://stackoverflow.com/questions/79340672/com-docker-socket-was-not-opened-because-it-contains-malware com.docker.socket was not opened because it contains malwareI noticed this issue on a Mac running Docker Desktop. I've been running Docker on this Mac for a while with no problems, and this cropped up apropos of nothing, after a reboot: "com.docker.so...stackoverflow.com
카테고리 없음 2025. 2. 3. 10:31
설날 연휴 스터디

endpointsendpointslices SCTP - 통신사(5G) - aws alb는 지원하지 않음 - > 그래서 loxilb ebtables: 이더넷 프레임(OSI 2계층) 관점에서 netfilter rule을 설정하는 사용자 영역의 응용 프로그램https://zidarn87.tistory.com/590 [리눅스 기반 브릿지에서의 ebtables/iptables 상호 작용] 1. 소개[리눅스 기반 브릿지에서의 ebtables/iptables 상호 작용] 1. 소개 참조 : http://ebtables.netfilter.org/br_fw_ia/br_fw_ia.html#section1 ebtables/iptables interaction on a Linux-based bridge ebtables/ipt..
카테고리 없음 2025. 1. 30. 10:55
네트워크 보충 스터디 - 설날 스터디 3일차(25.01.27)

calico의 virtual router 분석 https://malwareanalysis.tistory.com/256 쿠버네티스 네트워크 스터디 3주차 1편: Calico 기본 통신 과정스터디 목차 1주차 컨테이너 격리 - https://malwareanalysis.tistory.com/248 네트워크 네임스페이스 - https://malwareanalysis.tistory.com/249 2주차 Flannel CNI: https://malwareanalysis.tistory.com/254 pause 컨테이너: https://malwarmalwareanalysis.tistory.com
카테고리 없음 2025. 1. 28. 19:14
Prev 1 2 3 4 5 Next