Clever Geek Handbook

Créer une API évolutive sur les instances AWS Spot

salut! Je m'appelle Kirill, je suis CTO chez Adapty. La plupart de notre architecture est sur AWS, et aujourd'hui, je vais parler de la façon dont nous réduisons les coûts de serveur de 3x en utilisant des instances Spot dans un environnement de production, ainsi que de la façon de les configurer pour une mise à l'échelle automatique. Il y aura d'abord un aperçu de son fonctionnement, puis des instructions détaillées pour commencer.



Que sont les instances Spot?



Les instances ponctuelles sont des serveurs d'autres utilisateurs AWS qui sont actuellement inactifs et qui se vendent à un rabais important (Amazon écrit jusqu'à 90%, ~ 3x selon notre expérience, varie selon la région, l'AZ et le type d'instance). Leur principale différence par rapport aux systÚmes conventionnels est qu'ils peuvent s'éteindre à tout moment. Par conséquent, pendant longtemps, nous avons pensé qu'il était normal de les utiliser pour des environnements vierges, ou pour des tùches de calcul de quelque chose, avec sauvegarde des résultats intermédiaires sur S3 ou dans la base, mais pas pour la vente. Il existe des solutions tierces qui vous permettent d'utiliser des spots en vente, mais il y a beaucoup de béquilles pour notre cas, nous ne les avons donc pas implémentées. L'approche décrite dans l'article fonctionne entiÚrement dans le cadre de la fonctionnalité AWS standard, sans scripts supplémentaires, couronnes, etc.



Vous trouverez ci-dessous quelques captures d'Ă©cran qui montrent l'historique des prix des instances Spot.



m5.large dans la région eu-west-1 (Irlande). Prix globalement stable pendant 3 mois, actuellement 2,9x d' économies .



image



m5.large dans la région us-east-1 (Virginie du Nord). Le prix est en constante évolution depuis 3 mois, actuellement les économies sont de 2,3x à 2,8x selon la zone de disponibilité.



image



t3.small dans la région us-east-1 (Virginie du Nord). Le prix est stable pendant 3 mois, actuellement les économies sont de 3,4x .



image



Architecture de service



L'architecture de base du service, dont nous parlerons dans cet article, est illustrée dans le schéma ci-dessous.



image



Application Load Balancer → EC2 Target Group → Elastic Container Service



Application Load Balancer (ALB), EC2 Target Group (TG). TG , ALB Elastic Container Service (ECS). ECS — Kubernetes AWS, Docker .



, . ECS TG, ( Kubernetes ), . TG , health check, - , .



EC2 Auto Scaling Groups + ECS Capacity Providers



EC2 Auto Scaling Groups (ASG). , . AWS ECS. ECS , , CPU, RAM . , .



ECS Capacity Providers (ECS CP). ECS ASG, , ( ASG). , ECS CP , ASG, . ECS CP , , , .



EC2 Launch Templates



, , , — EC2 Launch Templates. , , . , , . , . , , ECS .



— ECS_ENABLE_SPOT_INSTANCE_DRAINING=true. , ECS , , , Draining. , , , . . 2 . 2 , .



— AWS Elastic File System (EFS) ECS, , , . SIGINT ( Draining) 30 , , ECS_CONTAINER_STOP_TIMEOUT. 2 .





. , . , - . AWS, CloudFormation Terraform. Adapty Terraform.



EC2 Launch Template



, . EC2 -> Instances -> Launch templates.



Amazon machine image (AMI) — , . ECS Amazon. ECS. ID , Amazon ECS-optimized AMIs, AMI ID . , us-east-1 ID — ami-00c7c1cf5bdc913ed. ID Specify a custom value.



Instance type — . , .



Key pair (login) — , SSH, .



Network settings — . Networking platform Virtual Private Cloud (VPC). Security groups — . , , . 2 , , (inbound) 80 (http) 443 (https), , . (outbound) TCP . , , - .



Storage (volumes) — . , AMI, ECS Optimized — 30 GiB.



Advanced details — .



Purchasing option — . , , Auto Scaling Group, .



IAM instance profile — , . , ECS, , ecsInstanceRole. , , , . .

, , . EBS-optimized instance T2/T3 Unlimited, burstable .



User data — . /etc/ecs/ecs.config, ECS.

, user data:



#!/bin/bash
echo ECS_CLUSTER=DemoApiClusterProd >> /etc/ecs/ecs.config
echo ECS_ENABLE_SPOT_INSTANCE_DRAINING=true >> /etc/ecs/ecs.config
echo ECS_CONTAINER_STOP_TIMEOUT=1m >> /etc/ecs/ecs.config
echo ECS_ENGINE_AUTH_TYPE=docker >> /etc/ecs/ecs.config
echo "ECS_ENGINE_AUTH_DATA={\"registry.gitlab.com\":{\"username\":\"username\",\"password\":\"password\"}}" >> /etc/ecs/ecs.config


ECS_CLUSTER=DemoApiClusterProd — , , . , .



ECS_ENABLE_SPOT_INSTANCE_DRAINING=true — , , Draining.



ECS_CONTAINER_STOP_TIMEOUT=1m — , SIGINT, 1 , .



ECS_ENGINE_AUTH_TYPE=docker — , docker-



ECS_ENGINE_AUTH_DATA=... — container registry, Docker . , .



Docker Hub, ECS_ENGINE_AUTH_TYPE ECS_ENGINE_AUTH_DATA .



: AMI, Docker, Linux, ECS . , . email , Lambda-, Launch Template AMI.



EC2 Auto Scaling Group



Auto Scaling Group . EC2 -> Auto Scaling -> Auto Scaling Groups.



Launch template — . .



Purchase options and instance types — . Adhere to launch template Launch Template. Combine purchase options and instance types . .



Optional On-Demand base — , , .



On-Demand percentage above base — , 50-50 , 20-80 4 . 50-50, 20-80, 0-100.



Instance types — , . , . , . , )



image



Network — , VPC , .



Load balancing — , , . Health checks .



Group size — . , .



Scaling policies — , , ECS , .



Instance scale-in protection — . , ASG , . , , ECS Capacity Provider.



Add tags — ( Tag new instances). Name, , , , .



image



Advanced configurations, .



Termination policies — , . . , . Launch Template (, AMI, , ). , . .



image



: , Instance Refresh. Lambda- , . instance scale-in protection . , , Instance management.



Application Load Balancer EC2 Target Group



EC2 → Load Balancing → Load Balancers. Application Load Balancer, .



Listeners — 80 443 80 443 .



Availability Zones — .



Configure Security Settings — SSL- , — ACM. Security Policy , ELBSecurityPolicy-2016-08. , DNS name, CNAME . , Cloudflare.



image



Security Group — , EC2 Launch Template → Network settings.



Target group — , , . Target type Instance, Protocol Port , HTTPS , . , 80 .



Health checks — . , -, -. , , . Success codes 200-399, Docker , , 304 .



image



Register Targets — , ECS, .



: , S3 . , SQL- S3 Athena. - . S3 .



ECS Task Definition



, , , . ECS → Task Definitions.



Launch type compatibility — EC2.



Task execution IAM role — ecsTaskExecutionRole. , .



Container Definitions Add Container.



Image — , Docker Hub bitnami/node-example:0.0.1.



Memory Limits — . Hard Limit — , , docker kill, . Soft Limit — , , . , 4 GiB , soft limit — 2048 MiB, 2 . 4 GiB — , 4096 MiB, ECS Instances . Soft limit hard limit. , , .



Port mappings — Host port 0, , , Target Group. Container Port — , , , , Dockerfile . 3000, Dockerfile .



Health check — , , Target Group.



Environment — . CPU units — Memory limits, . — 1024 , , 512, 4 . CPU units , .



Command — , . gunicorn, npm . , CMD Dockerfile. npm,start.



Environment variables — . , Secrets Manager Parameter Store.



Storage and Logging — CloudWatch Logs ( AWS). Auto-configure CloudWatch Logs. Task Definition CloudWatch. , Retention period Never Expire . CloudWatch Log groups, .



image



ECS Cluster ECS Capacity Provider



ECS → Clusters, . EC2 Linux + Networking.



Cluster name — , , Launch Template ECS_CLUSTER, — DemoApiClusterProd. Create an empty cluster. Container Insights, CloudWatch. , ECS Instances , Auto Scaling group.



image



Capacity Providers . , , ECS . , .



Auto Scaling group — .



Managed scaling — , .



Target capacity % — . 100%, . 50%, . , , , .



Managed termination protection — , . , Target capacity %.



ECS Service



:) , Services.



Launch type — Switch to capacity provider strategy .



image



Task Definition — Task Definition .



Service name — , , Task Definition.



Service type — Replica.



Number of tasks — . , .



Minimum healthy percent Maximum percent — . 100 200, , 2 , . 1 , min=0, max=100, , , . 1 , min=50, max=150, , 1 .



Deployment type — Rolling update.



Placement Templates — . AZ Balanced Spread — , , . BinPack — CPU Spread — AZ, CPU. , .



image



Load balancer type — Application Load Balancer.



Service IAM role — ecsServiceRole.



Load balancer name — .



Health check grace period — , 60 .



Container to load balance — Target group name , .



image



Service Auto Scaling — . Configure Service Auto Scaling to adjust your service’s desired count. .



IAM role for Service Auto Scaling — AWSServiceRoleForApplicationAutoScaling_ECSService.



Automatic task scaling policies — . 2 :



  1. Target tracking — ( CPU/RAM ). , 85%, , , . , , (Disable scale-in).
  2. Step scaling — . (CloudWatch Alarm), , , .


, , , .





Docker , .



image



  1. , . .
  2. , , .
  3. , .
  4. , , 3 .
  5. , , .
  6. Capacity Provider, (), .
  7. .


, , email-, .



. , - . 1+ . API, . , - , , .



, ECS - .



, serverless ( ) GitLab CI Terraform Cloud.



, !



More articles:


All Articles