Création facile d'opérateurs Kubernetes avec shell-operator: progression du projet en un an

Les opérateurs Kubernetes sont un mécanisme pratique pour étendre les capacités de cette plate-forme de conteneurs, qui a à juste titre gagné une large reconnaissance parmi l'environnement des ingénieurs d'exploitation et de leurs sympathisants. Nous avons parlé de la façon dont ils sont organisés et fonctionnent dans le 2017 déjà lointain. Et en avril de l'année dernière, nous avons présenté le projet d' opérateur shell open source , qui a grandement simplifié le processus de création des opérateurs Kubernetes.



Pour cela, un framework a été développé qui permet d'exécuter des scripts arbitraires (en Bash, Python, etc.) en cas de certains événements survenant dans le cluster K8s.



Par le passé, l'opérateur shell a acquis sa base d'utilisateurs (voir détails à la fin de l'article) et, bien sûr, de nouvelles fonctionnalités. A l'occasion de la sortie récentev1.0.0-beta.11 (à propos du statut bêta, voir ci-dessous) nous avons décidé de parler de ce à quoi le projet est arrivé au cours de son existence, depuis l'annonce de la première version publique.

À propos de l'appareil et de son objectif

Mais commençons par une brève explication du fonctionnement de l'opérateur shell et pourquoi, en principe, il peut être nécessaire.



L'opérateur Shell s'exécute dans le pod du cluster Kubernetes. Il y est présenté comme:

• Go binaire qui s'abonne aux événements dans l'API K8s et lance des hooks (leur donnant des détails sur ce qui s'est passé);
• un ensemble de hooks, dont chacun est un script Bash, un script Python ou tout autre fichier exécutable.

Crochets:

• ils déterminent eux-mêmes les événements et les objets dont ils ont besoin;
• effectuer les actions nécessaires en cas de survenance de ces événements dans les K8.

Ainsi, l'opérateur shell est une couche entre les événements de l'API Kubernetes et les scripts pour les traiter.







Pourquoi l'opérateur shell a-t-il été créé? Les opérateurs sont la norme pour «faire ce qu'il faut» dans Kubernetes, mais les développer complètement (dans Go en utilisant le SDK approprié ) n'est pas facile. La présence d'un cadre aussi simple que l'opérateur shell abaisse considérablement le seuil d'entrée dans cette zone, vous permettant de résoudre rapidement et efficacement de petits problèmes opérationnels * au sein du cluster. Et, tout aussi important, faites-le de la bonne manière.



De quelles tâches parle-t-on? Des exemples prêts à utiliser l'opérateur shell peuvent être trouvés dans le référentiel du projet . Chez nous, chez Flant, nous l'utilisons comme bibliothèque(oui, c'était aussi possible!) . Il est devenu la base de l' opérateur addon , qui gère des composants supplémentaires dans Kubernetes.



NB : L'annonce de ce projet Open Source (addon-opérateur) peut être trouvée ici . Et dans le rapport " Expanding and Supplementing Kubernetes ", nous avons parlé en détail des raisons de son apparition, de la relation avec l'opérateur shell et des principes de fonctionnement.



Passons maintenant aux principaux changements apportés à l'opérateur shell au cours de l'année écoulée.

Innovations majeures

Dans les premières versions de l'opérateur shell, un seul objet était disponible pour le hook - celui associé à l'événement du cluster. L'évolution des hooks utilisés dans l'addon-operator a conduit le hook à s'abonner à un changement d'objet, mais à appeler kubectlpour obtenir une liste à jour des autres objets. Pour supprimer les appels inutiles kubectlet ainsi accélérer le travail des hooks, plusieurs possibilités ont été implémentées pour accéder aux listes d'objets actuelles:

• Synchronisation + mode événement, lorsque le hook au début reçoit une liste d'objets réels, puis ne fonctionne qu'avec un seul objet. Ce mode est activé par défaut - nous pouvons dire que le résultat est un analogue de la boucle de réconciliation de operator-sdk.
• snapshot', . (Snapshot’ Kubernetes, .)
• snapshot'. , , , .
• Il est également devenu possible de surveiller la ressource , mais pas de réagir à ses changements, c'est-à-dire "Accumuler un instantané". Par exemple, un hook peut réagir aux modifications de CustomResource et toujours recevoir l'objet ConfigMap réel sans appel supplémentaire kubectl. (Voir les drapeaux executeHookOnSynchronizationet pour plus de détails executeHookOnEvent.)

Autres innovations importantes:

• Grâce à la transition vers l'utilisation du client dynamique Kubernetes dans l'opérateur shell, il est devenu possible de s'abonner à n'importe quel kind(type de ressource dans l'API Kubernetes), y compris les ressources personnalisées.
• (. queue). endpoints.
• .
• « », namespace’ .
• scraping' Prometheus'. .
• , shell.

• YAML- ( JSON).
• JSON logrus (. LOG_TYPE ).
• listen-address hostNetwork: true.
• rate limit (qps, burst) Kubernetes API.
• kube-server Kubernetes API.
• .
• jqFilter libjq-go, jq.
• zombie reaper, SIGCHLD -, Bash-. — tini.
• Diverses simplifications ont été implémentées pour connecter l'opérateur shell en tant que bibliothèque.
• Version mise à jour kubectl(de 1.13 à 1.17.4) et fait un assemblage basé sur alpine-3.11.

Statut et plans

Le projet d'opérateur shell est toujours officiellement en version bêta . Malgré cela, comme indiqué ci-dessus, nous l'utilisons de manière très intensive comme base de l' opérateur addon - un outil constamment utilisé dans de nombreux clusters K8 (plus de 100).



Pour une version stable de l'opérateur shell en tant que projet public, nous prévoyons (au moins):

• ajouter le test e2e ( # 63 ),
• implémenter une construction multi-architecturale ( # 184 ),
• mettre à jour client-go vers la version 0.18.0, implémenter contextet enfin gérer la mise en cache d'objets dans client-go ( # 188 ).

Reconnaissance communautaire

Au fil des ans, nous avons constaté un intérêt communautaire clair pour l'opérateur shell:

• Le projet a été mentionné non seulement dans diverses listes d'utilitaires utiles pour Kubernetes ( awesome-kubernetes , Cloud Zone ), mais également lors de webinaires spécialisés ( Weaveworks ), de rencontres ( K8s Meetup Tokyo ) et même dans un livre .
• ( — K8s- KubeSphere). GitHub , shell-operator ( ).
• : , .
• GitHub 600+ — , ! ;-)

Nous sommes également heureux d'annoncer que lors de la prochaine conférence virtuelle KubeCon + CloudNativeCon Europe 2020 , qui se tiendra en août, il y aura notre rapport sur l'opérateur shell. Les détails à ce sujet sont sur le site Web de l'événement .



Merci de l'intérêt que vous portez à l'opérateur shell! Si vous avez des questions, posez-les ici dans les commentaires ou dans le tg-channel @kubeoperator .

PS

Lisez aussi sur notre blog:

• " Présentation de l'opérateur shell: créez des instructions pour Kubernetes encore plus facilement ";
• « Est-il facile et pratique de préparer un cluster Kubernetes? Nous annonçons addon-operator ";
• " Expansion et complément de Kubernetes" (revue et vidéo du rapport) .