2022/10 2

[Wookiist] 글또 7기 활동을 회고해보자

벌써 글또 7기 활동이 마무리 되었네요. 자취를 시작했던 첫 날 밤, 책상이 아직 도착하지 않아 침대에 앉아 글또 OT에 참석했던 걸 생각해보면.. 꽤 시간이 많이 지난 거 같아요. 약 반 년이라는 시간동안 저는 무엇을 생각했고, 무엇을 느꼈으며, 어떻게 변했을까요? 글또 7기 활동을 마무리하는 글을 작성해보았습니다. 7기 활동하면서 썼던 글 7기 활동하면서 작성했던 글의 제목을 나열해보면 이렇네요. 총 10편의 글을 작성했고, 이 중에 7편의 글이 Airflow에 관한 글이었어요. 확실히 이번 활동 기간동안 Airflow 관련해선 꽤 많이 정리한 거 같네요. [Airflow] Airflow DAG Serialization (직렬화) [Airflow] Sensor를 정리해보자 [Airflow] Dynam..

욱이야기/욱이 2022.10.15

[Airflow] Airflow 2.4.0에선 무엇이 달라졌을까?

본 글은 Ash Berlin-Taylor가 작성한 ‘Apache Airflow 2.4.0: That Data Aware Release’ 글을 읽고 번역한 글입니다. 중간 중간에 필요한 제 사견이나 첨언도 들어가 있으니 참고 부탁드립니다. Apache Airflow 2.4.0에는 650개 이상의 유저 커밋, 그리고 총 870개 이상의 커밋이 포함되어 있습니다. 이번 버전에는 46개의 새로운 기능, 39개의 개선 사항 그리고 52개의 버그 픽스가 포함됩니다. Data-aware scheduling (AIP-48) 정말 대단한 기능입니다. 이제 Airflow는 데이터셋을 업데이트하는 다른 task를 기반으로 DAG을 스케줄링할 수 있게 되었습니다. 이게 정확히 무슨 뜻일까요? 이 기능으로 인해 DAG 작성자들..

IT/Airflow 2022.10.15