Formation distribuée sur Amazon SageMaker
Amazon SageMaker facilite et accélère la formation de modèles volumineux et le traitement de grandes quantités de données. La nouvelle formation distribuée sur le produit Amazon SageMaker permet une formation distribuée et prend en charge à la fois le parallélisme des données et des modèles. Cela nécessite des modifications minimes du code. Vous pouvez désormais facilement diviser les données en parties et vous entraîner sur différents GPU. Vous pouvez également diviser le modèle lui-même afin que plusieurs GPU soient utilisés pour la formation. Ceci est utile pour les grands modèles où le GPU seul ne suffit pas.
Plus de détails ici
Amazon SageMaker Clarify
Les modèles d'apprentissage automatique sont souvent une boîte noire. Il est difficile de comprendre pourquoi le modèle a produit tel ou tel résultat. Amazon SageMaker Clarify vous aide à comprendre le fonctionnement des modèles et les facteurs qui ont influencé chaque résultat. Ceci est particulièrement important pour l'audit des modèles.
De plus, les données peuvent ne pas être équilibrées. Les données historiques sur lesquelles les modèles ML sont formés sont incomplètes et souvent biaisées. Par exemple, si des personnes plus tôt à un certain âge ont contracté peu de prêts hypothécaires, un modèle formé sur ces données peut refuser des prêts hypothécaires aux personnes de cet âge à l'avenir. Ce qui ne fera que renforcer le biais. Amazon SageMaker Clarify vous permet d'identifier ces types de déséquilibres et de biais dans vos données. Cela permet aux modèles de mieux fonctionner pour tout le monde.
Plus de détails ici
DĂ©bogueur Amazon SageMaker
Amazon SageMaker Debugger est un outil pratique pour le débogage et le profilage des modèles, la collecte et l'analyse des données d'entraînement, la génération de rapports et la visualisation des métriques. SageMaker Debugger a reçu de nombreuses mises à jour cette année, ainsi qu'une interface utilisateur entièrement repensée.
DĂ©tails ici
Amazon SageMaker JumpStart
Amazon SageMaker JumpStart vous permet de déployer rapidement une solution prête à l'emploi ou un modèle ML. Déjà 15 solutions sont disponibles pour des tâches telles que la reconnaissance de l'écriture manuscrite, la prédiction de la demande, la détection de fraude et d'utilisateurs malveillants, et bien plus encore. De plus, SageMaker JumpStart vous permet de déployer en quelques clics l'un des 150 modèles ML open source à partir du hub TensorFlow et du hub PyTorch.
DĂ©tails ici
Amazon SageMaker Edge Manager
Une boîte à outils (MLOps) pour transformer vos appareils intelligents en appareils intelligents de pointe capables d'exécuter des modèles formés au cloud, de collecter des données de télémétrie et de renvoyer des échantillons de données vers le cloud pour une nouvelle formation. Amazon SageMaker Edge Manager vous aide également à surveiller l'état de santé de votre parc d'appareils et à mettre à jour des modèles optimisés avec SageMaker Neo.
L'agent SageMaker Edge est un petit environnement d'exécution hébergé sur un appareil qui peut exécuter des modèles, collecter des données de télémétrie et renvoyer des exemples de données vers le cloud.
SageMaker Neo est un outil qui optimise vos modèles pour les appareils basse consommation déjà inclus dans le runtime de l'agent.
Les tableaux de bord SageMaker Edge vous aident à surveiller la santé de vos appareils en dérivant des modèles.
Plus de détails ici
Amazon Redshift ML
Vous pouvez désormais entraîner des modèles et faire des inférences directement dans les requêtes SQL vers Redshift, grâce à l'intégration avec SageMaker AutoPilot, qui préparera les données et sélectionnera l'algorithme le plus approprié. Et toutes les autres prédictions peuvent déjà être effectuées à l'aide des ressources du cluster RedShift sans en décharger les données.
Cela permet au développeur ou à l'analyste de travailler plus facilement avec les données et supprime les étapes telles que le téléchargement des données vers le stockage intermédiaire, le démarrage du processus de formation, l'hébergement du modèle et le processus de prédiction.
Plus de détails
Amazon Neptune ML
Amazon Neptune ML est une nouvelle fonctionnalité pour les bases de données gérées basées sur des graphiques - Amazon Neptune. Construit à l'aide de la bibliothèque Deep Graph , il peut améliorer la précision jusqu'à 50% par rapport à d'autres bibliothèques et algorithmes qui ne se spécialisent pas dans les sources de données graphiques.
Amazon Neptune ML peut prédire à la fois les nœuds manquants (nœud de classification) et l'arête (régression de poids).
Amazon Lookout pour les métriques
Un nouveau service qui détecte automatiquement les anomalies dans les métriques de votre entreprise et ne nécessite pas de compétences en développement ou d'apprentissage automatique. Le service peut se connecter à des sources de données telles que Salesforce, Marketo, Google Analytics, Slack, Zendesk et bien d'autres.
Il peut être utilisé pour surveiller, localiser et alerter sur les anomalies, et est également capable de montrer la cause potentielle d'une anomalie sur des données telles que les vues de pages Web, le taux de désabonnement des clients, les utilisateurs actifs quotidiens (DAU), les transactions, les installations d'applications mobiles et bien d'autres. ...
Plarix a déjà eu accès à l'aperçu et a testé ce service pour analyser ses données.
«Nous avons expérimenté nos données d'acquisition d'utilisateurs pour comprendre le fonctionnement du service et il a rapidement identifié et regroupé les anomalies, ce qui nous permet de travailler plus vite et mieux», - Mikhail Artyugin, CTO chez Playrix.
Plus de détails ici
Session Twitch en russe
Aujourd'hui, le prochain flux de contraction en langue russe aura lieu, maintenant sur les nouveautés dans le domaine de l'apprentissage automatique. Nous vous rappelons que les flux ont lieu les jours clés d'AWS re: Invent. Les flux sont préparés et dirigés par les principaux architectes de solutions AWS, qui choisissent les plus intéressants et les plus utiles parmi les actualités et les annonces de la conférence de plusieurs heures. Pour ceux qui ne se sont pas encore connectés - le lien d'inscription .
En savoir plus sur le sujet:
AWS re: Invent. Principales annonces du premier jour (partie 1) d'
AWS re: Invent. Les principales annonces du premier jour (partie 2)