AWS re: Invent 2020, Keynotes - Analytics + Networking

Un autre lot d'annonces et de nouveaux produits de la conférence annuelle à grande échelle sur le cloud AWS re: Invent 2020. Cette fois dans le domaine de l'analyse et de l'infrastructure réseau. De nombreuses fonctionnalités sont déjà disponibles pour la prévisualisation, lesquelles - lisez ci-dessous. Les architectes AWS discuteront plus en détail des nouveaux éléments dans un tweet en russe qu'ils tiennent régulièrement les jours de re: Invent. Lien vers le flux Twitch à la fin de l'article.

Analytique

Nouvelles fonctionnalités d'AWS Lake Formation (aperçu)

De nouvelles fonctionnalités AWS Lake Formation telles que les transactions, la sécurité au niveau des lignes et les améliorations des performances sont disponibles pour un aperçu. La fonctionnalité fonctionne grâce à de nouvelles API ouvertes et publiques pour la mise à jour et l'accès aux lacs de données.



Les transactions sont implémentées à l'aide de «tables gouvernées», un nouveau type de table basé sur Amazon S3 qui prend en charge les transactions ACID. Les transactions simplifient les scripts de transformation de données (ETL) et permettent à différents utilisateurs d'ajouter, de supprimer et de modifier des enregistrements dans différentes tables gérées en même temps et avec assurance.



AWS Lake Formation compresse et optimise automatiquement le stockage des tables gérées en arrière-plan pour améliorer les performances lors de l'interrogation de données.



Plus de détails ici

Redshift

Nœuds RA3.xlplus et annonces supplémentaires pour Amazon Redshift

RA3.xlplus est le troisième et le plus petit type de nœud de la famille RA3. RA3 vous permet de mettre à l'échelle le calcul et le stockage séparément, en élargissant les choix de calcul pour les clusters Amazon Redshift.







Plus de détails ici

Possibilité de déplacer un cluster entre les zones de disponibilité (AZ)

La fonctionnalité de déplacement du cluster déplace un cluster vers un autre AZ en une seule étape sans qu'il soit nécessaire d'apporter des modifications à l'application. Lorsqu'un cluster est déplacé vers une zone de disponibilité différente, le nouveau cluster aura le même point de terminaison afin que les applications puissent continuer à s'exécuter sans modification. Cette fonctionnalité est gratuite et disponible pour les clusters RA3.



Plus de détails ici

Optimisation automatique des tables

L'optimisation automatique des tables surveille en permanence la manière dont les requêtes interagissent avec les tables et utilise l'apprentissage automatique pour sélectionner les meilleures clés de tri et de distribution afin d'optimiser les performances des requêtes dans le cluster.



Plus de détails ici

Partage de données entre des clusters Amazon Redshift (préversion)

Une nouvelle fonctionnalité de partage de données d'Amazon Redshift est disponible pour essai, ce qui vous permet de partager en toute sécurité et facilement des données entre les clusters Redshift en temps réel. Le partage de données vous permet de simplifier le traitement des données, d'augmenter la productivité et de réduire les coûts - tout ce à quoi vous êtes habitué dans un seul cluster Redshift est désormais disponible dans plusieurs clusters tout en travaillant sur les données.



En exploitant une banque de données gérée distincte des nœuds de calcul de la famille RA3, un accès instantané et performant aux données de plusieurs clusters est possible sans avoir à copier ou déplacer des données. Il exclut également la lecture de données obsolètes - tous les clusters fonctionnent sur une seule copie toujours à jour des données, avec toutes les dernières modifications. Il n'y a pas de coût supplémentaire pour partager des données entre les clusters Amazon Redshift.





Plus de détails ici

Bases de données Amazon Redshift et Amazon RDS MySQL et requêtes fédérées Amazon Aurora MySQL (préversion)

Les requêtes fédérées Amazon Redshift vous permettent de connecter des données à partir de bases de données transactionnelles pour la BI et des applications de création de rapports pour l'analyse opérationnelle. Amazon Redshift Optimizer décharge et distribue une partie du calcul vers des bases de données distantes pour accélérer les performances en réduisant le trafic réseau. Aujourd'hui, nous étendons les capacités de requête fédérée sur Amazon RDS pour MySQL et Amazon Aurora pour MySQL. La fonction est disponible pour un aperçu.

Prise en charge JSON intégrée (aperçu)

Aujourd'hui, nous introduisons la prise en charge native pour JSON et les données semi-structurées dans Amazon Redshift pour un aperçu. Un nouveau type de données «SUPER» est utilisé pour le stockage, ce qui vous permet de stocker des données semi-structurées dans des tables Redshift. Ajout de la prise en charge du langage de requête PartiQL pour l'interrogation et le traitement de ces données.



Plus de détails ici

Aperçu d'Amazon EMR Studio

Amazon EMR Studio, un IDE basé sur Jupyter, a été annoncé. Il prend en charge l'authentification auprès des fournisseurs SSO d'entreprise et permet aux analystes et aux ingénieurs de données de développer des applications analytiques et des systèmes de traitement de données dans R, Python, Scala et PySpark. Spark UI et YARN Timeline Service sont également disponibles pour faciliter le débogage. Les ordinateurs portables EMR Studio fonctionneront sur des clusters EMR existants ou en lanceront de nouveaux à l'aide de modèles CloudFormation prêts à l'emploi pour EMR.



Détails ici

Amazon EMR sur Amazon EKS

Avec le nouveau déploiement EMR ( Amazon EMR sur Amazon EKS ), les clients peuvent automatiser la création et la gestion de frameworks Big Data Open Source optimisés par Amazon EKS. Les clients peuvent désormais exécuter des applications Spark conjointement avec d'autres types d'applications au sein du même cluster EKS et obtenir des améliorations dans l'utilisation des ressources et la facilité de gestion de l'infrastructure.



Amazon EMR conditionne automatiquement votre application dans un conteneur Big Data et fournit des connecteurs prêts à l'emploi pour l'intégration avec d'autres services AWS. Ensuite, EMR déploie l'application sur le cluster EKS et gère la journalisation et la surveillance. Avec EMR sur EKS, vous pouvez obtenir 3 fois plus de performancesen utilisant le runtime Spark optimisé pour les performances inclus dans EMR par rapport à Apache Spark standard sur EKS.



Plus de détails ici

La mise en réseau

Analyseur d'accessibilité VPC

Le nouveau service VPC Reachability Analyzer vous permet de diagnostiquer la disponibilité du réseau entre deux points de trafic (points de terminaison) sans avoir à envoyer de paquets réseau. Le service lit la configuration de toutes les ressources du VPC et utilise le raisonnement automatique pour déterminer les chemins de trafic réseau disponibles. Il analyse tous les chemins de trafic possibles au sein du réseau sans envoyer de paquets réseau. Pour en savoir plus sur le fonctionnement des algorithmes d'analyse automatique, consultez la session re: Invent ou lisez ce document .







Plus de détails ici

AWS Transit Gateway Connect

Superposition Les SD-WAN (Software Defined Wide Area Networks) sont utilisés pour connecter des bureaux ou des centres de données sur l'Internet public. L'infrastructure cloud doit désormais être connectée aux mêmes réseaux. AWS Transit Gateway est souvent utilisé à la périphérie du réseau pour connecter leurs réseaux au backbone AWS.



Et avec l'ajout de la fonctionnalité AWS Transit Gateway Connect, il existe un moyen simple d'étendre votre infrastructure SD-WAN dans le cloud AWS. Au lieu de plusieurs tunnels VPN IPsec entre Transit Gateway et les périphériques réseau SD-WAN, Transit Gateway Connect utilise des tunnels GRE. Il prend également en charge le routage BGP dynamique, s'intègre au service de surveillance AWS Transit Gateway Network Manager et à une suite de solutions partenaires .



Tout cela simplifie la conception du réseau, améliore les performances et facilite l'extension des SD-WAN à AWS.







Plus de détails ici

Prise en charge d'IGMP dans AWS Transit Gateway

AWS Transit Gateway introduit la prise en charge du protocole IGMP (Internet Group Management Protocol), ce qui facilite la gestion des applications qui utilisent la multidiffusion IP.



Les clients ont déjà utilisé AWS Transit Gateway pour exécuter des applications de multidiffusion dans le cloud. Désormais, avec la prise en charge d'IGMP, il est plus facile de mettre à l'échelle et de gérer l'appartenance à un groupe de multidiffusion. Il n'est plus nécessaire de configurer des groupes, des sources et des récepteurs multicast statiques, Transit Gateway ajoute et supprime automatiquement les membres du groupe à l'aide d'IGMP.



IGMP est un standard ouvert et de nombreuses applications de multidiffusion en dépendent. Il est désormais plus facile de les migrer vers le cloud.



Plus de détails ici

Session Twitch en russe

Toutes les nouvelles dans le domaine de l'analyse et de l'infrastructure réseau seront discutées aujourd'hui dans le flux de twitch en russe. Les principaux architectes de solutions AWS ont choisi tous les plus intéressants, ont déjà beaucoup essayé et vont maintenant échanger leurs impressions sur les nouveaux produits et répondre à toutes vos questions. Si vous ne vous êtes pas encore connecté aux flux - lien vers l'enregistrement . En passant, vous pouvez regarder les enregistrements des flux précédents en russe dans le tweet, si vous les avez manqués.



Nouvelles précédentes d'AWS re: Invent 2020:

AWS re: Invent. Annonces du jour 1 (Andy Jassy, ​​Applications d'entreprise)

AWS re: Invent. Keynotes AWS re: Invent 2020 - Annonces principales du jour 1 de l' apprentissage automatique (stockage)