Featurefat-task··#576
implement asyncsteprunner for airflow v3
🎉 implement asyncsteprunner for airflow v3
대규모 데이터 파이프라인을 운영하실 때, 처리해야 할 작업이 많아질수록 전체 속도가 느려지는 문제를 경험하셨을 것입니다. 이번 업데이트에서는 파이프라인 실행 엔진을 근본적으로 개선하여, 수백 개의 작업도 병목 없이 빠르게 처리할 수 있도록 했습니다.
안정성 향상
작업 도중 예기치 않은 오류가 발생해도, 처음부터 다시 시작할 필요가 없습니다. 각 단계의 진행 상황이 자동으로 저장되어, 문제가 해결된 후 중단된 지점부터 이어서 실행됩니다. 대용량 데이터를 다루실 때 시간과 비용을 크게 절감하실 수 있습니다.
관련 변경사항
- Hub Issue: #576