Kubernetes pour les plus de 30 ans. Nikolay Sivko (2018)

À un moment donné, chez okmeter.io, nous avons réalisé que nous avions également besoin de k8 en production, bien que nous n'ayons même pas de CI / CD, mais il y a une tâche pour partager un pool de serveurs commun entre les applications et il est assez facile d'ajouter des capacités au cluster. Dans le même temps, un certain nombre de circonstances ont compliqué la mise en œuvre de k8:

• nous nous soucions beaucoup de la tolérance aux pannes (nous n'introduisons pas de nouvelles technologies tant que nous ne les comprenons pas à un niveau suffisant);
• nous avons des services avec des temps de réponse inférieurs à 10 ms;
• nous avons très peu de ressources humaines pour cette tâche (apprenez 10 nouveaux termes OK, 50 - plus).

: 2018 , issue .

. Okmeter.io. . , . , . .

?

, , , , – .

Kubernetes.

.

Okmeter.io. :

• , , , auto discovery.
• , .

:

• , , . . , . Python Go.
• - , . Kafka, Cassandra, Elasticsearch, PostgreSQL.
• . , , latency. .
• DevOps , CI/CD, pipeline. , .
• . , ( ), . , . read , . . , , .
• , , , , – , 2 , , , .
• .

, .

Google App Engine. . , . .

, , . , latency . .

, - . . Cassandra, Elasticsearch, Go Python.

, Elasticsearch.

, Elasticsearch , , CPU. Python.

. , Go stateless, , -, , , CPU - .

, . , , .

?

• Ansible , , , , server -> roles . .
• , . Ansible , , . , , , .
• , Ansible, , , . – playbooks . , , playbooks production. , , . , .

, , instance, ?

• inventory. , - - .
• . , , . , . .

, , , .

• , Kubernetes , . , .
• , , . . , , , , , , .
• , . . Request + Limit – , .

Kubernetes. . . . , , . , , , instances. , OOM killer, , . , , .

, , , . .

, health checks , . , , .

Ansible . Ansible? , , . , . Ansible, , .

Kubernetes, , . - . , , over kill.

, ? :

• — , , .
• – Ansible , , Kubernetes .

Kubernetes , Ansible? Kubernetes apply, , , . . -, , . , – , .

, ? - ? , . , pod. , , Ansible. , , .

? service discovery. , . nginx, upstream’. . . . . , , service discovery. . Kubernetes.

, . , , . - , . DNS, ETCD. , , . .

, , , , . , readiness/ liveness-. , , curl, , Kubernetes .

? , pull . , , . pod, IP, . pull . , . , , .

, , pod . , , . graceful shutdown . . , .

. , RequestID, tracing, , , . , pod – , .

– . Kubernetes, , , L2 , , .

, , ? , 20 , . ? . bgp. , bgp. bgp 10 ?

Kubernetes , service discovery iptables , . . daemon, iptables. , . , , , , .

. 20 , . iptables , .

, , . IP pod’ IP . , . SR-IOV. , 128 . switch . . , , .

, . . , -, , , . - . flannel host-gw. 24- . , , -. , .

iptables kube-proxy, , iptables Kubernetes. Google , . . headless services .

?

• , K8s .
• , , CI/CD.
• . . . , ? , .
• production .

, :

• , K8s. docker , , Python. Go – . , docker . .
• docker . Ansible docker: « , , ».
• , . .

. , - etcd, ConfigMap, . , . , reconfig. , .

Helm . , .

, Helm. update/ rollback pod’, immutable ConfigMap, . , , , , , rolling update, , . , . . , production , . ConfigMap, ConfigMag.

, , – .

– , . - . pod, , immutable. , . , Helm.

. Go- , YAML . , - , -. YAML, . – .

Python Django . Settings.py – . settings . .

, , , K8s stateful . , : Cassandra, Kafka. -, , .

, , Ansible. Ansible , - K8s . ?

Kubernetes – Ansible playbook. . . playbook, , , K8s.

production - - .

. request/ limit.

, , . CPU . . , pod’ . , - , CPU.

, . , , - , OOM Killer . , 100 , .

– deployments - . , , selector , pod deployments. OOM Killer , . . deployment , . , .

- - . , – . K8s back-off. . .

, , , …, back-off .

, rollout, . . , . , , . . . . , .

, , , iptables headless. ? selector, pod’, . pod’ readiness probe, . endpoint, , . . endpoint – pod’.

IP . IP, pod.

IP. , . , iptables , upstream, .

DNS-.

? , pod. readiness probe kubelet . . , kubelet’ apiserver.

kube-proxy . kube-proxy . , .

?

• Probes . , , .
• . 10 000 rps, , .
• . Kubelet -> apiserver -> kube-proxy-> iptables. , .
• , kubelet apiserver? kube-proxy iptables? , .
• , iptables pod, . , , . retries.

, headless service – , .

. etcd, apiserver, DNS.

envoy, L7, retry. http, retry , . , , application level . , ? Envoy.

. envoy. DNS. K8s DNS, endpoints. , . , .

envoy DeamonSet, , sidecar container. ? - .

envoy, -, , , pod’ . . . rolling-update. - , , pod .

. . . envoy nginx -t. . , : «, ». . , pod’ .

, sidecar . envoy , .

. envoy. , resolve , , 3 DNS. , envoy resolve. . . . , health check, retry.

, service mesh . service mesh, . . , .

- , GitHub , . envoy. , istio , . .

ingress-. IP, K8s-. K8s, , .

DaemonSet envoy, . DaemonSet – . IP , DaemonSet, IP - . . 3 - 4, 5, 10 upstream .

DaemonSet rolling .

ingress controller, , nginx - ingress K8s. , . . , , envoy, DaemonSet, ingress controller. . DaemonSet, . ingress.

, . .

Kubespray – , , 20 K8s-.

, , , , . , , .

playbook .

?

etcd c apiserver’. . full mesh.

, Kubelet …, . , , . . pod , . , .

CoreDNS. deployment. deployment, iptables, .

iptables, DNS deployment DaemonSet. , , . DNS , -, .

3 + N . , , . , Ansible. , .

Stateful- , , . .

, Kafka 4 10 . Kubelet , . , overbooked .

, , flannel . pod’. . 1/0. pod’ . . . . . , .

, , . , , , egress, , . flannel NAT. pod’ .

, . NAT.

• . .
• , . , .
• - . . , , . , - , . 3 , , , , .
• , Kubernetes, , . , , .

Kubernetes .

Kubernetes .

, . !

:

, ! follower, , , , Kubernetes, - ? Kubernetes ?

, , Kubernetes . , . , . . , .

, , , , , , , , . , service discovery . , , , , .

! Stateful- , . HA ? HAProxy K8s?

Cassandra . , , . . endpoints IP , .

Postgres?

Postgres . Postgres’ , . . , . , , . Postgres - . , , -, . Postgres , .

, ! ! latency. , , latency . , ?

. . . iptables , . iptables, . , , .

20 . - ?

flannel .

, , Open vSwitch ?

J'ai juste peur de ces mots. Nous avons fait du monitoring des K8, et nous avons dû faire un banc de test sur des machines virtuelles afin de faire une démo de monitoring. Là, par défaut, Kubespray a déployé Calico. Cela fonctionne, mais je ne comprends pas comment cela fonctionne. Nous n’avons effectué aucun benchmark là-bas, je ne sais pas comment cela fonctionne. Et comment ça va casser, je ne sais pas. Je sais comment la flanelle va se casser, je suis prêt pour ça. Et comment tous les 19 autres plugins vont casser, je ne sais pas.

Cette question est intéressante en termes de protection des données afin de séparer un réseau sécurisé, non sécurisé.

Nous sommes bénis à cet égard, nous n'avons rien de tel.

Tu es très chanceux.

Alors merci!