Il semble qu'aucun de nos résumés n'est complet sans évoquer les développements d'Open AI: en juillet, le nouvel algorithme GPT-3 est devenu le sujet le plus discuté dans le domaine de l'apprentissage automatique. Techniquement, ce n'est pas un modèle, mais toute une famille, qui pour des raisons de commodité est généralisée sous un seul nom. Le plus grand modèle utilise 175 milliards de paramètres et un ensemble de données de 570 Gb a été utilisé pour la formation, qui comprenait des données filtrées des archives Common Crawl et des données de haute qualité de WebText2, Books1, Books2 et Wikipedia.
Il convient de noter ici que le modèle est pré-formé et ne nécessite pas de réglage fin pour des tâches spécifiques: pour obtenir de meilleurs résultats, il est recommandé de lui fournir au moins un (one-shot) ou plusieurs (quelques-coups) exemples de résolution de problèmes en entrée, mais vous pouvez vous en passer. eux (coup zéro). Pour que le modèle génère une solution au problème, il suffit de décrire le problème en anglais. On pense généralement qu'il s'agit d'un algorithme de génération de textes, mais il est déjà clair que le potentiel est beaucoup plus riche.
Le modèle a été présenté en mai, même alors, Open AI a démontré que GPT-3 formé sur les référentiels GitHub pouvait générer avec succès du code Python, et maintenant, un mois et demi plus tard, les premiers chanceux ont eu accès à l'API et ont montré leurs meilleures pratiques. Les résultats sont incroyables. En tant que développeurs, nous sommes bien sûr intéressés par la façon dont cet algorithme simplifiera notre vie et créera peut-être de la concurrence.
Le service debuild.co est déjà apparu, qui, selon la description textuelle de la fonction, crée un code de travail et fait une bonne mise en page .
Vous pouvez utiliser les meilleures pratiques non seulement en programmation Web, mais également en conception. Le modèle est capable de générer des données JSON par description textuelle et de les traduire en mise en page Figma.
Et aussi elle a pratiquement réussientretien pour un poste de développeur Ruby.
L'actualité de l'utilisation de l'apprentissage automatique dans la programmation ne s'arrête pas là.
TransCoder La
migration de votre base de code d'un langage de programmation archaïque comme COBOL vers une alternative moderne comme Java ou C ++ est une tâche complexe et gourmande en ressources qui exige que les professionnels maîtrisent les deux technologies. Dans le même temps, les langues archaïques sont toujours utilisées dans les mainframes du monde entier, ce qui laisse souvent aux propriétaires un choix difficile - soit traduire manuellement la base de code dans un langage moderne, soit continuer à maintenir le code hérité.
Facebook dévoile un modèle d'auto-apprentissage Open Sourcece qui facilitera cette tâche. C'est le premier système capable de traduire du code d'un langage de programmation à un autre sans nécessiter de données d'apprentissage parallèles.
Les créateurs estiment que le modèle traduit correctement plus de 90% des fonctions Java en C ++, 74,8% des fonctions C ++ en Java et 68,7% des fonctions Java en Python. Ce qui est supérieur aux indicateurs des homologues commerciaux.
Les
outils de développement ContraCode utilisent de plus en plus l'apprentissage automatique pour comprendre et modifier le code écrit par l'homme. La principale difficulté à travailler avec des algorithmes avec du code est le manque d'ensembles de données étiquetés.
Les chercheurs de Berkeley suggèrent de résoudre ce problème en utilisant la méthode ContraCode. Les auteurs estiment que les programmes ayant les mêmes fonctionnalités devraient avoir les mêmes représentations, et vice versa. Par conséquent, ils génèrent des variantes de code pour l'apprentissage contrasté. Pour créer des données, les variables sont renommées, le code est reformaté et obscurci.
À l'avenir, un modèle d'auto-apprentissage utilisant cette méthode pourra prédire les types, détecter les erreurs, résumer le code, etc. Compte tenu de ces progrès et d'autres dans le domaine, il est possible que les machines apprennent bientôt à écrire du code comme les humains.
DeepSIM
Les auteurs de cette étude montrent qu'un réseau antagoniste génératif sur une seule image cible est capable de gérer des manipulations complexes.
Le modèle apprend à faire correspondre la représentation primitive de l'image (par exemple, uniquement les bords des objets de la photo) avec l'image elle-même. Lors de la manipulation, le générateur vous permet de modifier les images en changeant leur représentation primitive en entrée et en la mappant à travers le réseau. Cette approche résout le problème DNN qui nécessite un énorme ensemble de données d'entraînement. Les résultats sont impressionnants.
Inpainting de photo 3D
Une autre façon de convertir des images RVB-D 2D en 3D. L'algorithme recrée les zones masquées par les objets de l'image d'origine. Une image de profondeur en couches a été utilisée comme représentation de base, à partir de laquelle le modèle synthétise de manière itérative de nouvelles données de couleur et de profondeur pour la région invisible, en tenant compte du contexte. Le résultat est des photos, auxquelles vous pouvez ajouter un effet de parallaxe à l'aide de moteurs graphiques standard. Un colab est disponible où vous pouvez tester le modèle vous-même.
HiDT
Une équipe de chercheurs russes a présenté un algorithme open source qui change l'heure de la journée sur les photographies. La modélisation des changements d'éclairage dans les photographies haute résolution est un défi. L'algorithme présenté combine le modèle image à image génératif et le schéma de suréchantillonnage, qui permet des transformations sur des images haute résolution. Il est important de noter que le modèle a été formé sur des images statiques de différents paysages sans horodatage.
Permutation de l'encodeur automatique
Si HiDT est capable de modifier qualitativement l'éclairage des images, alors ce réseau de neurones, formé sur différents ensembles de données, est capable de changer non seulement l'heure de la journée, mais aussi le paysage. Malheureusement, il n'y a aucune possibilité de voir le code source, nous ne pouvons donc qu'admirer la vidéo qui démontre les capacités de ce modèle.
SCAN Un
réseau neuronal open source qui regroupe indépendamment les images en clusters sémantiquement significatifs. La nouveauté de l'approche de l'auteur est que les étapes de formation et de regroupement sont séparées. Tout d'abord, la tâche d'enseignement des fonctionnalités est lancée, puis le modèle est basé sur les données obtenues à la première étape lors du regroupement. Cela permet d'obtenir de meilleurs résultats que d'autres modèles similaires.
RécupérerGAN
Les réseaux de neurones générateurs se développent rapidement, et RetrieveGAN en est une autre confirmation. Un algorithme basé sur une description textuelle d'une scène utilise des fragments d'images existantes pour en créer de nouvelles uniques. Bien que les images résultantes contiennent de nombreux artefacts, et qu'elles ne semblent pas très crédibles, cela pourrait à l'avenir ouvrir de nouvelles possibilités dans le domaine du photomontage.
Suivi des passagers d'ascenseur
Grâce aux progrès de la vision par ordinateur et de l'apprentissage automatique, le suivi humain devient encore plus efficace. Un groupe de chercheurs de Shanghai mandaté par un grand développeur a développé un système de contrôle social du comportement des ascenseurs en temps réel. Le système est capable de détecter les activités suspectes dans les ascenseurs. Ainsi, les créateurs espèrent prévenir le vandalisme, le harcèlement sexuel, le trafic de drogue. Le système remarquera également si les gens s'arrêtent plus souvent à un certain étage: par exemple, il a déjà été possible d'identifier la restauration qui travaille illégalement dans l'appartement. Le système a déjà été installé et surveille des centaines de milliers d'ascenseurs.
Voilà à quel point le mois de juillet s'est avéré intense. Voyons quelles nouvelles nous apportent le mois prochain. Merci de votre attention!