욱이의 IT 생존일지

  • 홈
  • 태그
  • GitHub
  • Linkedin

센서 1

[Airflow] Sensor를 정리해보자

Overview 최근 들어 Airflow를 적극적으로 다루는 일이 많아지다보니, 여러 요구사항을 만나게 되는데요. Airflow 자체적으로 제공하지 않는 스케줄링 처리, 특정 파일 및 조건을 만족할 때까지 대기하는 구간 등을 정의하게 되었습니다. 전자는 간단한 Operator를 구현해, 정공법은 아니지만 Workaround 느낌으로 파훼했고, 후자는 이번에 알아볼 Sensor로 해결할 수 있었습니다. Apache Airflow Sensor는 어떤 사건이 발생할 때 까지 기다리도록 설계된 특수한 종류의 오퍼레이터입니다. 실행된 Sensor는 특정 조건을 만족하면, 성공으로 마킹되며 이후 다운스트림 태스크를 실행합니다. 적절하게 사용되면, DAG를 좀 더 Event-Driven하게 작성할 수 있도록 도와줍니..

IT/Airflow 2022.05.22
1
더보기
프로필사진

Go언어와 Kubernetes를 좋아하는 엔지니어입니다. 꾸준히 배웁니다.

  • 전체 보기 (162)
    • PS (20)
      • BOJ (20)
    • IT (127)
      • Hadoop (1)
      • Airflow (7)
      • DevOps (6)
      • IT WIKI (25)
      • Network (16)
      • Kubernetes (18)
      • Docker (1)
      • containerd (2)
      • Istio (1)
      • Go (19)
      • OpenSource (1)
      • Python (5)
      • C++ (3)
      • OpenStack (6)
      • OS (10)
      • SQL (1)
      • Coding Tip (4)
    • 욱이야기 (7)
      • 욱이 취업 (1)
      • 욱이 (6)
    • Apple (7)
      • Mac (7)
      • iPhone & iPad & Acc (0)
    • 경제 공부 (1)
      • 부동산 공부 (1)

최근글

인기글

Tag

BOJ, 컨테이너, Network, Container, 백준, k8s, 고, 고랭, Golang, Coding Test, 쿠버네티스, 네트워크, Go, docker, go언어, linux, 리눅스, 도커, Kubernetes, 고언어,

최근댓글

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • Wookiist GitHub
  • Wookiist Linkedin

티스토리툴바