욱이의 IT 생존일지

  • 홈
  • 태그
  • GitHub
  • Linkedin

동적 태스크 매핑 1

[Airflow] Dynamic Task Mapping (동적 태스크 매핑)

Introduction 최근 사내에서 사용하는 몇몇 Airflow 클러스터 관리를 담당하게 되면서 Airflow 2.3.0으로의 버전업을 진행하게 되었습니다. 사실 이전에 다뤘던 두 포스트도 그 일환으로 작성했던 내용이네요 ㅎㅎ Airflow 2.3.0 업그레이드에는 나름 큰(?) 변경 사항과 추가 사항이 있습니다. 그동안 사용해왔던 TreeView를 대체하는 GridView의 도입, LocalKubernetesExecutor의 도입, 메타데이터 DB에 쌓여만 가던 오래된 데이터를 지워주는 airflow db clean 명령어 등, 각각 하나의 글로 작성해도 충분할만큼 중요한 신규 기능, 변경점들입니다. 그중에서도 가장 주목 받았던 신규 기능이라고 한다면, Dynamic Task Mapping 을 꼽을 ..

IT/Airflow 2022.06.06
1
더보기
프로필사진

Go언어와 Kubernetes를 좋아하는 엔지니어입니다. 꾸준히 배웁니다.

  • 전체 보기 (162)
    • PS (20)
      • BOJ (20)
    • IT (127)
      • Hadoop (1)
      • Airflow (7)
      • DevOps (6)
      • IT WIKI (25)
      • Network (16)
      • Kubernetes (18)
      • Docker (1)
      • containerd (2)
      • Istio (1)
      • Go (19)
      • OpenSource (1)
      • Python (5)
      • C++ (3)
      • OpenStack (6)
      • OS (10)
      • SQL (1)
      • Coding Tip (4)
    • 욱이야기 (7)
      • 욱이 취업 (1)
      • 욱이 (6)
    • Apple (7)
      • Mac (7)
      • iPhone & iPad & Acc (0)
    • 경제 공부 (1)
      • 부동산 공부 (1)

최근글

인기글

Tag

백준, Kubernetes, Coding Test, BOJ, 도커, docker, 고랭, k8s, Container, 쿠버네티스, 리눅스, 컨테이너, Network, 고, Go, linux, 네트워크, Golang, 고언어, go언어,

최근댓글

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • Wookiist GitHub
  • Wookiist Linkedin

티스토리툴바