OpenAI, fondé par Elon Musk il y a quelques années, a publié un nouvel algorithme de réseau neuronal, GPT-3, en juin. Aujourd'hui, c'est le système le plus avancé capable de travailler avec les langues naturelles.
Ses capacités sont tout simplement colossales. Avec GPT-3, vous pouvez créer tout type d'informations textuelles, y compris des textes techniques complexes. Par exemple, lorsque les réseaux de neurones se sont vu confier la tâche d'écrire un texte sur eux-mêmes, elle a créé un article avec le titre fort "GPT-3 d'OpenAI peut être la plus grande découverte après Bitcoin . "
Mais un réseau de neurones peut-il non seulement compiler des mots, imiter une personne, mais en fait créer des textes avec du sens? Des poèmes, des histoires ou même des romans qui seront intéressants à lire? Découvrons-le.
GPT-3: un algorithme de réseau neuronal qui est un ordre de grandeur en avance sur tous les
GPT-3 est le modèle de langage le plus complexe jamais créé par l'homme.
Cela fonctionne avec la probabilité d'une certaine séquence de mots. GPT-3 diffère des modèles précédents en termes d'échelle.
Il utilise 175 milliards de paramètres pour générer du texte et a été formé sur plus de 1,5 billion de mots. De plus, les textes de formation ont été utilisés de différentes manières: des publications sur les forums à la littérature classique.
Le système essaie de prédire le texte en fonction des blocs de texte les plus probables. L'utilisateur n'a besoin que de définir un point de référence à partir duquel le réseau neuronal démarrera.
Plus le système comprendra le contexte de la demande, plus la réponse sera précise.
On a l'impression que le réseau neuronal peut réellement comprendre les langages naturels.
Sharif Shameem, co-fondateur et PDG du projet Debuild.co, a publié sur son compte Twitter les résultats des tests de diverses capacités du réseau neuronal. Et ils sont vraiment impressionnants.
Dans la vidéo, vous pouvez voir que Sharif a écrit un texte simple dans la ligne d'entrée, comme s'il expliquait au concepteur ou au développeur ce dont il avait besoin. Et le système l'a interprété et a renvoyé le résultat.
J'ai été particulièrement amusé par le "bouton semblable à une pastèque".
, , ?
: .
vs. :
Les textes d'un réseau neuronal ne diffèrent pratiquement pas des textes humains. Liam Porr, étudiant à Berkeley, a mené une expérience et publié des articles générés par GPT-3 sur son blog sur Adolos pendant deux semaines.
Des articles de motivation du réseau neuronal ont été lus par 26 000 personnes. Et, comme le dit Liam, un seul d'entre eux a deviné que les paroles avaient été écrites non pas par une personne, mais par une machine. Mais même ce commentaire a été retenu par d'autres lecteurs:
si vous lisez les articles eux-mêmes, vous avez l'impression qu'ils ont en fait été rédigés par un entraîneur ou un coach motivationnel. Style et phrases appropriés, structure de texte adéquate. Parfois, des phrases ou des phrases individuelles ne semblent pas trop naturelles, mais cela ne trahit pas la machine. Après tout, une personne fait de telles erreurs mineures.
C'est l'une des raisons pour lesquelles GPT-3 n'est pas publié dans le domaine public. Pour accéder à l'API OpenAI, vous devez remplir une application indiquant exactement pourquoi vous prévoyez d'utiliser le réseau neuronal.
Même au stade de la création de GPT-2, la version précédente de l'algorithme, les développeurs ont réalisé le danger potentiel, car le système peut devenir un instrument de guerre de l'information. Un tel réseau de neurones est capable de générer de fausses nouvelles à un rythme monstrueux. Si vous utilisez ses capacités au détriment, Internet sera simplement enseveli sous un faux contenu.
C'est pourquoi ils prévoient de le vendre à une entreprise d'abonnement à l'avenir. Mais pas à tout le monde, mais seulement à ceux qui prouvent qu'ils envisagent de l'utiliser «à des fins pacifiques».
Réseau neuronal, livres de fiction et poésie
Un réseau de neurones peut bien rivaliser avec les auteurs d'actualités dans les médias ou d'articles techniques, mais le processus de création de romans ou de poésie est beaucoup plus compliqué. Même les principes de base de l'écriture de fiction sont différents des principes techniques. Il est possible d'enseigner à un réseau de neurones à sélectionner des rimes et à suivre le rythme sans aucun problème, mais avec de nombreuses significations, les machines sont encore byad.
Il existe un réseau neuronal russe "Porfirevich" basé sur l'algorithme GTP-2. Elle «connaît» le russe et est formée non seulement en prose, mais aussi en poésie. Vous pouvez vérifier le travail dans le bot Telegram "Neuropoet" . Il vous suffit d'écrire la première ligne ou plusieurs, et le système fera le reste. Nous avons vérifié, il s'est avéré moyen.
Le réseau neuronal a transformé la première ligne de Pouchkine en un ensemble de texte incompréhensible, dans lequel les motivations militaires sont devinées. Et si certaines images peuvent être considérées comme réussies («Le chêne demande du pain du printemps» ou «Les fleurs d'automne du printemps»), d'autres provoquent une palme faciale.
Une analogie peut être faite avec la théorie des singes sans fin qui, en appuyant sur des touches aléatoires sur une machine à écrire pendant une période indéfiniment longue, écriront tôt ou tard «Guerre et Paix».
Le réseau neuronal agit ici comme un singe, qui, au lieu de lettres individuelles, compile des mots et des images, mais la plupart d'entre eux se révèlent aléatoires.
En fait, de nombreux développeurs ont créé des générateurs de poésie basés sur GPT-2. Par exemple, voici une variante d'un générateur de paroles en anglais qui utilise une base de données légère de 13 000 versets.
Il a également généré quelque chose de pas très intelligible:
pour les livres de fiction, la situation est encore pire. Il fallait s'y attendre, car un réseau de neurones ne sait pas comment construire une intrigue et ne sait pas ce qu'est une intrigue ou un point culminant. Mais à partir de certaines expériences, un tel jeu sélectionné est obtenu que l'on ne peut qu'être surpris.
Comment aimez-vous une sorte de fiction pornographique biblique? Un essai intitulé "La Bible érotique orange" a été publié par des développeurs inconnus... Il a été créé par un réseau de neurones basé sur le même GPT-2, mais ils l'ont formé sur des romans et des histoires érotiques, puis ont donné des extraits de la Bible comme point de départ pour la génération. L'histoire s'est avérée longue - plus de 60 000 mots. Et le résultat est surprenant, pour le moins dire.
Voici une petite partie de l'histoire. Et non, nous ne le traduirons pas.
Il existe même une boutique en ligne de livres écrits par AI . Cela a l'air assez effrayant. Parce que les couvertures de livres sont également fabriquées à la machine.
Certes, ses créateurs ont admis n'avoir vendu que 19 exemplaires des livres. Si leur qualité ressemble même à peu près à la "Bible orange", alors nous ne sommes pas du tout surpris. Les écrivains peuvent bien dormir pour le moment.
Ou pas?
Tous les exemples précédents concernaient uniquement GPT-2, et ils étaient médiocres.
Mais il existe déjà un réseau neuronal-poète basé sur l'algorithme GPT-3. Et cela montre des résultats assez intéressants.
Un réseau de neurones peut écrire de la poésie dans un style et sur un sujet donnés. Arram Sabeti, PDG du projet ZeroCater, a déjà mené une expérience au cours de laquelle il a généré des requêtes de réseau de neurones posant des questions sur les vers et le style. La machine a fait le reste.
Voici l'une des demandes:
Voici un poème du Dr. Seuss à propos d'Elon Musk lançant des roquettes avec SpaceX, construisant des voitures électriques chez Tesla, vendant des lance-flammes, sortant avec Grimes, combattant la SEC, écrasant les vendeurs à découvert, construisant des puces cérébrales pour lutter contre l'IA et colonisant Mars, et tweetant à toute heure du jour et de la nuit ... Musk veut rendre les humains interplanétaires pour empêcher l'extinction. Le poème rime toutes les autres lignes avec une structure ABAB. La structure de la rime est typique du Dr. Comptines Seuss.
Le couplet s'est avéré amusant. Vrai. Malgré les inexactitudes évidentes dans le rythme et les jambages avec des rimes, cela a du sens. C'est long, nous n'en inclurons donc qu'une partie ici.
Elon Musk
By Dr. Seuss
Once there was a man
who really was a Musk.
He liked to build robots
and rocket ships and such.
He said, “I’m building a car
that’s electric and cool.
I’ll bet it outsells those
Gasoline-burning clunkers soon!”
They sell cool cars
that are electric and clean.
And then he wanted to go
even farther, you see.
The first Tesla, Roadster,
Was just the start of a bigger dream.
He said, “I’m building a plane
that’s electric and green”.
La progression par rapport à la version précédente de l'algorithme est incroyable. Ce n'est pas un recueil de phrases incohérentes, mais un assez bon poème en structure. Oui, l'idéal est encore loin, les rimes sont faibles et le rythme est boiteux, mais déjà à ce stade vous êtes très surpris que la machine l'ait inventé.
Certaines images et phrases sont tout simplement magnifiques. Par exemple, «clunkers à essence» - «clunkers à essence». Si vous ne savez pas qu'il a été écrit par une machine, vous pourriez penser que c'est la création d'un écolier qui a décidé d'écrire un poème sur son idole.
Et bon sang, c'est cool.
Vous pouvez lire la version complète du verset et d'autres créations du réseau neuronal ici .
***
Il y a très peu d'expériences avec GPT-3 en termes d'écriture de poésie ou d'histoires de fiction, vous devez donc vous contenter de cela. Mais si le réseau de neurones a tellement avancé dans la création de textes significatifs, il est fort possible qu'il soit bientôt capable d'écrire des œuvres d'art tout à fait lisibles.
Ce ne sera peut-être pas GPT-3, mais certains GPT-4 ou même GPT-5, mais la dynamique de développement est clairement là. Désormais, le réseau neuronal peut écrire des articles techniques, des actualités, des nouvelles ou de la poésie.
Et avec le développement ultérieur des algorithmes, la qualité des textes générés ne fera qu'augmenter. Alors oui, l'IA peut écrire comme un humain. Jusqu'ici, au niveau d'un étudiant, mais voyons comment ce sera dans 10-20 ans. Et qu'en penses-tu?
École en ligne EnglishDom.com - nous inspirons pour apprendre l'anglais grâce à la technologie et aux soins humains
Uniquement pour les lecteurs Habr, le premier cours avec un professeur sur Skype est gratuit ! Et lors de l'achat de cours, vous recevrez jusqu'à 3 cours en cadeau!
Obtenez un mois complet d'abonnement premium à ED Words en cadeau .
Entrez le code promo neurowriter sur cette page ou directement dans l'application ED Words . Le code promo est valable jusqu'au 29/09/2021.
Nos produits:
- Apprenez des mots anglais dans l'application mobile ED Words
- Apprenez l'anglais de A à Z sur l'application mobile ED Courses
- Installez l'extension pour Google Chrome, traduisez des mots anglais sur Internet et ajoutez-les pour étudier dans l'application Ed Words
- Apprenez l'anglais de manière ludique dans le simulateur en ligne
- Renforcez vos compétences orales et trouvez des amis dans les clubs de conversation
- YouTube- EnglishDom