Quand Cron échoue

salut!

Nous avons d'énormes rapports tous les soirs sur les mesures des produits qui sont remis à leurs propriétaires le matin. Il y a quelques années, ils ont été rassemblés avec le Cron habituel, mais cela s'est avéré être une histoire très instable. Cron nécessite de prendre en compte certaines nuances et discipline: si le rapport n'est pas collecté, alors vous devez redémarrer le script. Et il peut ne pas collecter pour de nombreuses raisons: l'une des bases de données MySQL n'a pas répondu, ou le service interrogé n'a pas répondu, ou le serveur exécutant Cron a redémarré la nuit ou est tombé en panne. La plupart de ces rapports ont été créés par des analystes qui ne tenaient généralement pas compte de tout cela. Parce qu'ils sont des analystes et que ce n'est pas leur tâche. Nous avons donc commencé à chercher des options qui faciliteraient la vie de tout le monde.

Et ils l'ont trouvé.

Airflow Kubernetes. .  , , Data Team,  – , - .

– , , . – , , . , , ,   ,    . , ,     , , , – , .

. – .  :  , . , production-, , . , . , . .

, - : . python, Cron' . , . , ,  – . : , , , .

DataTeam . , . 

: "", , .

-  – . , , ,  – . ,  ,  , . , ,  . Cron . , .

Cron' . , , - . Cron' . , , . .

 – , . , , . : , , - . - ( , ). , .

, ( ), . Kubernetes'.  ,  CronJob. , Cron'. :  , CronJob , . , , . , Cron , . CronJob "" ( : A cron job creates a job object about once per execution time of its schedule. ). "" , . .  CronJob .   .

,  Kubernetes' . ,  CronJob , , .  – , . , , , . , , , , - , , .

, . Airflow.

Airflow

(,  ). Arflow , .  – ( directed acyclic graph).

 – ,    . , , . Airflow . , .

– . Cron CronJob . Cron' , , CronJob – Kubernetes'.  , Airflow ,  Kubernetes', - . , . Airflow , , . .

, , Kubernetes'. Airflow    , , : KubernetesPodOperator KubernetesExecutor. KubernetesPodOperator: docker- Kubernetes'.

 kubernetes-client  API Kubernetes', Airflow.  configmap' , . KubernetesExecutor' : Airflow , , .

Airflow + KubernetesPodOperator + Kubernetes , , , Airflow Kubernetes, , - .

KubernetesPodOperator'

Kubernetes' Docker' Airflow. - SimpleHttpOperator' PythonOperator',  http- , . , , - .  – , -. , : , , , . Airflow.  – - , , ,   , .

, .

: . . BI- Metabase, . ().

 Airflow + KubernetesPodOperator + Kubernetes .

, " !"?

:

1. ;

2. , ;

3. , ;

4. , .
   
   , Airflow , / ;

5. , , ;

6. 5.

, "how to"  Airflow , .