👨‍🚀 👈🏾 ℹ️ Tirez le meilleur parti de: Cloud Composer en tant que solution entièrement gérée pour Airflow 👨‍👩‍👦‍👦 😯 🤶🏻

Bonjour, Habr! Je m'appelle Sergey, je suis ingénieur logiciel principal / chef d'équipe chez EPAM, ingénieur et architecte certifié Google Cloud. Depuis plus de 10 ans, je fais du développement commercial pour diverses entreprises mondiales, principalement avec un accent sur le backend. J'aime aussi partager mes connaissances. Aujourd'hui, je veux parler d'Apache Airflow, qui, à mon avis, est un bon outil pour construire vos pipelines.

Quel est le plan?

En un mot, je vais vous parler d'Airflow pour ceux qui n'ont pas encore travaillé avec. Tout cela peut être trouvé plus en détail sur Internet, je ne passerai donc en revue que les concepts de base.
Voyons ce qu'est Google Cloud Composer , comment il utilise Airflow et simplifie le développement sur de vrais projets.
Jetons un coup d'œil aux pratiques de développement et de déploiement dans Google Cloud Composer, ainsi qu'aux difficultés et limitations qui peuvent être rencontrées lors du lancement d'Airflow dans Cloud Composer.
Et, bien sûr, je partagerai des outils utiles que vous pouvez utiliser dans votre travail.

Flux d'air en plusieurs paragraphes

Il s'agit donc d'un outil de planification, de construction et de surveillance de pipelines écrits en Python. Il existe d'autres solutions d'orchestration de processus prêtes à l'emploi, telles que Luigi. Mais parlons maintenant des avantages d'Airflow:

Vraiment bon pour la construction de pipelines. Au cœur de tout ce qu'il possède se trouve un graphe acyclique dirigé, qui vous permet d'implémenter une exécution séquentielle ou parallèle de tâches, ainsi que de gérer leur ordre et leurs dépendances.
. open-sourse , .
-: , .
REST API, API.

ETL-pipeline “” . , GCS . , , , . , , .

Airflow. DAG (Directed Acyclic Graph) — , Airflow. , . , .

Tasks DAG . , , . Operators , , . , — DAG-. — DataLoadOperator, GoogleCloudStorageListOperator UpdateStatusOperator — , . , , DAG-, . .

E DAGs Run Tasks Instances. DAGs Run — DAG, . Tasks Instance — , DAG Run. DAG Run Tasks Instances — execution date.

DAG , , pipeline-.

, Airflow:

(Scheduler) DAG-, .
( Executor) — , . : SequentialExecutor, CeleryExecutor . . , CeleryExecutor Queue Broker.
(Workers) ( Celery).
- , , , HTTP-, DAG- . , , Airflow, DAG-, . .
Logs. , Airflow. , - loud-. , Stackdriver GCS bucket .
Admin Panel / DAG-, , , (, “”).

Airflow , DAG-. , . - , . , task execution , Admin Panel. , . , deployment-.

Google Cloud Composer

Google Cloud Composer Composer — fully managed , , cloud.

, . , , storage A storage B. Airflow DAG, Composer . , . - , retry, . , . , cron jobs, 100 , — Airflow Composer , .

Composer:

-, . Composer Airflow Google Console UI “ ”, , DAG- . , DAG-, , , Composer bucket GCS. .
-, Composer , UI. Airflow, .
-, Composer security- , Google Cloud. , Private IPs, Authorization . .
-, Composer Console .

Composer. “, fully managed “”?” , , . , :

( , Composer ). Tenant Project — , Identity Access Management. . AppEngine Flexible -, Cloud SQL — Airflow. Cloud SQL , , -, . Cloud Storage Composer bucket, , / DAG-, . , Kubernetes . Core-, , worker- , , Redis, CeleryExecutor, Google Kubernetes Engine. : Kubernetes , , Redis. , Redis Airflow, Kubernetes Engine. , Composer Stackdriver — . , 100 , .

, , “ ”. , , , , DevOps-, , , , . .

, :

-, Tenant Project, Cloud SQL . — . , , .

Deployment development,

— , . :

, . Airflow DAGS_FOLDER PLUGINS_FOLDER sys.path , . : DAGS_FOLDER DAG-, PLUGINS_FOLDER — Airflow.

, , libs utils. , . plugins Airflow PLUGINS, Airflow. operators, hooks, macros — , Airflow “ ”.

. pip requirements.txt . Composer, UI, . , CI/CD , gcloud. pip Composer.

Airflow DAGS_FOLDER PLUGINS_FOLDER sys.path, , , DAGS_FOLDER, PLUGINS_FOLDER. , Airflow, , . , Airflow , , DAG-. PLUGINS_FOLDER . plugins — . . , , .

Airflow: . Composer read-only. .

.airflowignore . .gitignore , , Airflow . , . , PLUGINS_FOLDER , . .airflowignore Python , .

Airflow. Airflow , UI-, View. operators, hooks . , Airflow PLUGINS_FOLDER sys.path, , , from vnd.operators.my_operator. , , Airflow. , :

from vnd.operators.my_operator import MyOperator
from vnd.sensors.my_sensor import MySensor

, . , , Airflow plugins AirflowPlugin .

: , , callable- , lazy . , DAG-. , c , . , . , , , - , . : DAG- .

CI/D — . linters, isorts Gitlab CI/CD . CI/D , : Jenkins, Gitlab pipeline, Spinnaker.

, linters, unit , — . Composer, gcloud rsync.

Composer , rsync, Airflow. , gcloud composer, DAG-, - . , , - . rsync, , /.

, Airflow . , , . , , Airflow. . afctl — CLI-, Airflow . , , DAG- . , afctl , , ( ).

, , Airflow. , Google Cloud Platform, AWS, Azure, . providers Airflow.

Airflow Plugins — , CRM , . . GitHub: Airflow , , .

, Airflow self-service, Cloud Composer.

Cloud Composer, , “” (scaling to zero). , , . Composer : , A/B-, . , GKE , .

Composer, , Prod/Dev/Staging. . Composer Airflow, , Google Airflow. Composer : , image, Airflow.

DAG — , . , pip.

, , . , .

AirflowPlugin — UI , Airflow. .

.airflowignore , Airflow. , .airflowignore DAG- , Airflow DAG- DAG-. , DAG- , , , .

DAG- Cloud Composer. DAG- . — “”.

Airflow. , GoogleCloudStorageListOperator , , . - , .

KubernetesPodOperator , Python. Kubernetes, Airflow Pod-. , Composer-.

Composer, read-only Airflow. .

, , Airflow Composer :)

Tirez le meilleur parti de: Cloud Composer en tant que solution entièrement gérée pour Airflow

More articles: