Les clouds publics sont apparus comme une réponse à l'agonie des entreprises qui maintenaient leur propre flotte de serveurs. Trop de problèmes sont survenus avec la commande d'équipement, sa configuration et son support, de sorte que le cloud computing est rapidement devenu très demandé - explique Alexander Volochnev, Developer Advocate chez DataStax et auteur du cours vidéo AWS chez Slurm .
Les douleurs des administrateurs système et des entreprises, ainsi que les opportunités que les nuages leur ont apportées, Alexander Volochnev a décrit en détail lors du webinaire «Créer une infrastructure efficace à l'aide de solutions cloud». L'enregistrement du webinaire est disponible sur YouTube , voici un bref résumé.
Problèmes de maintenance de votre infrastructure
En maintenant leur propre parc de serveurs, tout le monde a souffert: les développeurs, le support et les administrateurs système. Les administrateurs système ont tiré le meilleur parti du reste: il n'y avait pas assez de serveurs et ils n'ont pas donné de nouvelles commandes - il n'y avait pas de budget; un ingénieur a travaillé pendant dix; le soutien de la flotte grignotait tout le temps, il ne restait plus de temps pour le développement; Les développeurs ont mal évalué la charge sur l'infrastructure; les serveurs commandés avec peine ont voyagé à moitié pendant plusieurs mois.
Non seulement les employés ordinaires étaient tourmentés, mais aussi les gestionnaires: ils devaient constamment chercher de l'argent pour de nouveaux équipements et en même temps - des gens normaux pour l'équipe; les administrateurs n'ont pas développé d'infrastructure, mais seulement corrigé la flotte actuelle; La base de données était lente, les clients n'étaient pas satisfaits; il était difficile d'estimer la quantité de matériel nécessaire pour un nouveau projet.
Avec le soutien de leur parc de serveurs, les entreprises ont et continuent de faire face à plusieurs défis majeurs.
Changements lents. Expansion, mise à l'échelle, ajout de capacité - tout cela prend du temps. Le matériel doit être commandé plusieurs semaines voire plusieurs mois à l'avance, paiement à l'avance. Vous pouvez le louer, mais la durée minimale de location est d'un mois, même si le serveur est nécessaire pour une journée. Le plus souvent, le loyer est annuel. Toutes les opérations nécessitent la participation de personnes, et il y a toujours une pénurie de celles intelligentes.
Coût élevé et faible fiabilité. Le système est soit fragile soit très coûteux. Et souvent fragile et cher.
Manque de flexibilité en géographie.La solution au problème de la répartition géographique s'inscrit dans le schéma DDH - long, cher, merdique. En même temps, il n'y aura pas de tolérance aux pannes sans distribution. Si les données se trouvent dans le même centre de données, l'application ne peut pas être qualifiée de tolérante aux pannes.
Par exemple, AWS fonctionne par régions et zones. Une région est un ensemble de centres de données hébergés ensemble. Une zone d'accessibilité est un centre de données spécifique, nécessairement éloigné des voisins, disposant d'une connexion indépendante à Internet et à l'alimentation électrique. C'est la vraie distribution et la tolérance aux pannes.
Manque de flexibilité dans les performances. Leurs serveurs sont soit inactifs ¾ du temps, soit il n'y a pas assez de capacité aux heures de pointe, et tout ment.
Mode économique vs mode performance: soit des dénis de service de pointe, soit des
paiements en trop. Du point de vue des ingénieurs - quand, si nécessaire, il y a une opportunité de créer un nouvel environnement et de le frapper dès que le besoin disparaît.
Situation idéale: les capacités et les coûts évoluent pour eux en fonction des tâches commerciales
C'était une situation tellement idéale qu'Amazon aspirait, où les nuages ont été inventés. Le marché est caractérisé par des charges saisonnières: des nuits plus calmes, des journées plus lourdes, plus le Black Friday et le pic avant Noël. Le site baisse pendant les pics de charge et perd des clients, ou paie l'infrastructure toute l'année autant qu'il gagne à son apogée. Au fil du temps, ils ont trouvé un moyen de s'en sortir - ils ont commencé à louer du fer inutilisé pour compenser les coûts.
C'est ainsi qu'Amazon Web Services (AWS) et un type de service appelé cloud sont apparus.
Alors les nuages sont apparus, et ils sont devenus demandés, parce que tout le monde - littéralement - est tombé malade.
Qu'est-ce que le cloud
Supposons qu'une entreprise ait besoin d'organiser son travail avec des données et que la direction décide de créer sa propre infrastructure. L'entreprise construit son propre centre de données ou loue un espace dans un centre de données commercial. Achète et installe des serveurs. Configure le stockage et la mise en réseau. En outre, il est engagé dans la virtualisation, l'installation de systèmes d'exploitation, de bases de données et d'autres logiciels nécessaires au fonctionnement des applications finales.
Maintenant, imaginez que la direction choisisse IaaS (Infrastructure as a Service) à la place. Dans ce cas, le fournisseur de cloud prend en charge une partie des tâches d'organisation de l'infrastructure. Le centre de données existe déjà, il a été construit et répond aux exigences de fiabilité les plus élevées (du moins dans le cas de grands fournisseurs comme AWS ou Google Cloud). Le stockage, les réseaux et la virtualisation sont également configurés par le fournisseur.
Ainsi, l'entreprise n'a qu'à préparer l'environnement pour travailler avec les données et leur administration. Les ingénieurs ont du temps pour le développement, l'amélioration, le pompage, l'optimisation. Ils s'impliquent davantage dans le processus de développement, apparaît DevOps.
Répartition par responsabilités
Au fil du temps, les fournisseurs de cloud ont fait évoluer les services et, en plus de l'IaaS, des approches telles que la plateforme en tant que service (plateforme en tant que service) et le logiciel en tant que service (application en tant que service) ont émergé.
Par exemple, supposons qu'une entreprise a développé une application et souhaite la lancer. Dans le cas d'IaaS, vous devez vous connecter à l'interface Web AWS, créer une machine virtuelle. Le système d'exploitation sera déjà installé, mais vous devrez le configurer vous-même. Vous devrez vous-même installer les logiciels nécessaires et comprendre comment travailler avec les données.
Dans le cas du PaaS, tout ce dont vous avez besoin est déjà installé, il vous suffit de gérer votre application et vos données. Déjà plus facile, et moins d'administrateurs sont nécessaires pour le support. Le PaaS ne convient pas à tout le monde, mais il sera certainement utile pour les startups qui ont besoin de se déployer rapidement et qui n'ont pas le temps de penser au matériel.
Et enfin, le logiciel en tant que service est une application en tant que service, lorsque vous utilisez simplement un service et que vous ne vous souciez de rien.
Caractéristiques supplémentaires
Caractéristiques du cloud: "putain de magie!"
Examinons les principales caractéristiques des nuages. Amazon Web Services (AWS) est souvent mentionné dans les exemples, car cette société a tout commencé et est désormais leader sur le marché des services cloud.
Libre-service à la demande - Libre-service. La possibilité d'obtenir tout ce dont vous avez besoin à la demande, sans contacter personne. Sans appels téléphoniques, sans envoi de documents par courrier, sans attendre plusieurs mois - tout de suite.
Flexibilité rapide (0 → 100 → 10) - Flexibilité "rapide". Aujourd'hui, l'entreprise ne loue pas un seul serveur, demain, il faudra cent machines et après-demain - dix. Très rapide et flexible.
Regroupement des ressources - partage des ressources. Les données de différentes entreprises peuvent être stockées sur un serveur de fer: les profils de charge ne coïncident pas et ils n'interfèrent pas entre eux, mais les deux paient moins cher que pour un serveur dédié - le concept d'un immeuble à appartements. Cependant, tout le monde n'aime pas les immeubles à appartements. Ensuite, vous pouvez dire "Je veux un serveur dédié" et vous l'obtiendrez. Naturellement, le prix sera plus élevé.
L'évolutivité élastique est une évolutivité flexible. Aujourd'hui, vous avez besoin de 10 serveurs, demain vous en avez besoin de 100, après-demain encore de 10. Avec les nuages, vous n'avez pas à vous demander où en trouver autant. Vous pouvez simplement utiliser et fermer lorsque vous n'en avez plus besoin.
Le service mesuré est un service mesuré. La consommation de ressources est mesurée à un bit et une microseconde de sorte que l'utilisateur ne paie réellement que ce qui a été consommé. AWS a été le premier à introduire la facturation à la seconde pour les serveurs.
Payez au fur et à mesure - payez au fur et à mesure. La plupart des fournisseurs de cloud facturent ex post. Mais si l'utilisateur sait que le serveur sera nécessaire demain et dans un an, il peut payer d'une autre manière: immédiatement pour toute la période ou en partie. Il y a une réduction pour cela.
AWS propose trois méthodes pour obtenir un serveur: à la demande - payez au fur et à mesure. réservé - paiement d'un an à l'avance, en tout ou en partie; instances ponctuelles - paiement par type d'enchère. Dans ce dernier cas, les utilisateurs fixent le prix qu'ils sont prêts à payer pour l'instance Spot, et le serveur va à celui qui a payé le plus. Le système n'est pas le plus fiable, mais les remises peuvent atteindre 90%. L'instance Spot convient à l'exécution différée de tâches lorsque la vitesse de traitement n'est pas aussi importante que le coût.
, , . -, , . -, , , . , . .
Disponibilité / distribution mondiale - disponibilité mondiale. AWS compte 22 régions et 77 centres de données dans le monde, plus environ 200 points de présence. Azure et Google Cloud ont une infrastructure similaire. Grâce à cela, les clients des services cloud peuvent utiliser leurs applications, gérer leurs données globalement. Si une entreprise opère dans une région et que les clients vivent dans une autre, vous pouvez tout configurer pour que la connexion du client passe d'abord au réseau AWS interne et de là, à grande vitesse, se dirige vers la région de l'entreprise.
Accès / gestion programmables - accès programmatique et contrôle programmé. Auparavant, pour commander des serveurs, il fallait appeler des fournisseurs, expliquer ses tâches, attendre une offre commerciale, rappeler ... Seul un très gros client peut contacter AWS par téléphone. Le temps coûte cher, donc tout se fait via une interface Web, une interface de ligne de commande et une gestion logicielle.
Si vous avez besoin d'optimiser les capacités des serveurs en fonction du trafic, il suffit alors de configurer le groupe AutoScaling une fois - un groupe de mise à l'échelle automatique pour les serveurs, la surveillance et les déclencheurs. Après cela, AWS créera et supprimera les serveurs lui-même en fonction de la charge. Le client obtient une mise à l'échelle avec un sur-paiement minimal et un contrôle entièrement automatique.
"L'accès par programmation, la programmation de votre infrastructure est vraiment magique, j'adore ça!"
AWS propose environ 250 services à des fins très diverses. Si nous parlons d'infrastructure, alors il y a des bases de données et des stockages réseau, et en général tout. Il n'y a aucune industrie pour laquelle ils n'ont pas encore proposé quelque chose. Regardez la capture d'écran, dans le coin inférieur gauche, il y a un onglet "Satellite" - satellites de contrôle. Autrement dit, si vous le souhaitez, vous pouvez travailler avec des satellites dans AWS!
Services AWS
En fait, AWS a tout ce dont vous avez besoin pour développer. Si vous souhaitez organiser le travail des microservices - s'il vous plaît, il existe tout un cadre basé sur AWS. Dans les applications modernes, 99% du code est une répétition de ce qui a déjà été écrit. Afin de ne pas vous répéter, vous pouvez vous rendre sur AWS et l'utiliser.
Fournisseurs de cloud
AWS, Microsoft Azure et Google Cloud sont les fournisseurs de cloud les plus populaires. Mais en plus de cela, il existe plus de dix grands fournisseurs de services cloud.
Amazon a débarqué en premier et continue d'occuper environ la moitié du marché. Microsoft Azure s'est joint avec un long délai, mais maintenant un client sur cinq les utilise. Google Cloud Platform est un peu en retard, mais en principe, pas de manière significative.
Répartition des fournisseurs de cloud sur le marché
Quel est le meilleur? Je ne répondrai pas à cette question, car pour la réponse, vous devez prendre en compte tant de facteurs et de nuances que vingt webinaires et vingt spécialistes ne suffiront pas (au final, les spécialistes se battront et n'arriveront pas à une solution). Google Cloud est considéré comme moins cher qu'Amazon, et c'est logique: si vous entrez sur un marché déjà occupé, alors avec des prix élevés, vous n'aurez aucune chance. Pour autant que je sache, Google Cloud est actuellement le cloud qui connaît la croissance la plus rapide.
Certaines entreprises préfèrent utiliser le cloud hybride et le multicloud. Multicloud signifie que les ressources sont réparties sur plusieurs clouds. Il est organisé pour économiser de l'argent et offrir une tolérance aux pannes. Si un type de traitement est moins cher sur Google Cloud, le deuxième type sur Amazon, la distribution des données est plus rentable que de les conserver dans un seul service. Cependant, il convient de garder à l'esprit que le transfert de grandes quantités de données entre les clouds peut être coûteux.
Pour la tolérance aux pannes, les données sont dupliquées dans les stockages de deux fournisseurs, de sorte que si l'un tombe, le second se couvrira. Mais il est possible que cette duplication coûte beaucoup plus que la perte en cas d'indisponibilité.
Comment essayer
Tous les fournisseurs ont un accès gratuit où vous pouvez essayer tous les services. Cela ne fonctionnera pas pour créer de grands stockages, mais il y aura certainement suffisamment de capacités libres pour le test.
Dans le cours sur l'administration du cloud, nous vous apprenons à utiliser AWS et à déployer des systèmes d'autoscaling. Le cours vidéo est sorti en janvier 2021. Il sera utile aux développeurs, DevOps et administrateurs système. Les architectes et la direction technique en bénéficieront également: pour gagner du temps, vous pouvez sauter la pratique et vous concentrer sur la théorie et les démonstrations. Ils vous aideront à comprendre comment AWS fonctionne et comment l'utiliser dans votre entreprise.