Airflow

priority_weight와 세 가지 weight_rule

``priority_weight``는 executor 큐 안에서의 우선순위를 정의한다. 기본값은 1이며 임의의 정수로 올릴 수 있고, 숫자가 클수록 우선순위가 높다. 더 나아가 각 태스크는 ``weight_rule``에 따라 계산되는 실효(true) ``priority_weight``를 갖는데, ``weight_rule``은 태스크의 실효 총 우선순위 가중치를 계산하는 데 쓰이는 가중 방법을 정의한다. Airflow의 기본 가중 방법은 ``downstream``이다.

``downstream``에서는 태스크의 실효 가중치가 모든 다운스트림 자손(descendants)의 합계다. 그 결과 업스트림 태스크가 더 높은 가중치를 갖게 되어, 양수 가중치를 쓸 때 더 공격적으로 스케줄링된다. 이는 여러 Dag run 인스턴스가 있을 때, 각 run의 다운스트림 태스크로 넘어가기 전에 모든 run의 업스트림 태스크가 먼저 완료되기를 바랄 때 유용하다.

``upstream``은 그 반대로, 실효 가중치가 모든 업스트림 조상(ancestors)의 합계다. 다운스트림 태스크가 더 높은 가중치를 가지므로 양수 가중치를 쓸 때 더 공격적으로 스케줄링된다. 이는 여러 Dag run 인스턴스가 있을 때, 다른 run들의 업스트림 태스크를 시작하기 전에 각 Dag가 완전히 끝나기를 선호할 때 유용하다.

``absolute``는 추가 가중 없이 지정된 ``priority_weight``를 그대로 실효 가중치로 쓴다. 각 태스크가 가져야 할 정확한 우선순위 가중치를 이미 알고 있을 때 쓰면 되며, 덤으로 매우 큰 Dag에서 태스크 생성 과정의 속도를 상당히 높여주는 효과도 있다(자손·조상을 순회해 합산하는 계산을 건너뛰기 때문).

``priority_weight`` 파라미터는 Pool과 함께 쓰일 수 있다.

정수 범위 제약과 커스텀 Weight Rule

대부분의 DB 엔진이 정수에 32비트를 쓰기 때문에, 계산되거나 지정된 ``priority_weight``의 최댓값은 2,147,483,647이고 최솟값은 -2,147,483,648이다.

2.9.0부터는 ``PriorityWeightStrategy`` 클래스를 확장하고 플러그인에 등록하는 방식으로 자신만의 커스텀 가중 방법을 구현할 수 있다. 커스텀 가중 전략이 이미 Airflow에 등록되어 있는지는 ``airflow plugins`` bash 명령으로 확인할 수 있다. 등록한 뒤에는 커스텀 클래스의 인스턴스를 만들어 태스크의 ``weight_rule`` 파라미터에 제공하거나, 그 커스텀 클래스의 경로 문자열을 제공해 사용할 수 있다. Dag가 실행된 뒤에는 태스크의 ``priority_weight`` 파라미터를 확인해 커스텀 우선순위 전략이 실제로 쓰이고 있는지 검증할 수 있다. 이 기능은 실험적(experimental)이다.