Pustobrёkh GPT-2: édition russe

Après avoir plongé dans le sujet de DL NLP, je suis tombé sur un référentiel intéressant sur Internet . Ce n'est pas assez - GPT-2 russe ! Eh bien, c'est Russophone. Et pas un petit 117M, mais plutôt un 1250M, ce qui est déjà assez sérieux. L'auteur a beaucoup travaillé pour adapter le modèle original et préparer le corpus pour la formation. Et la formation elle-même, je suppose, a pris beaucoup de temps et de puissance. En général, respectez le camarade l4rz ! Je prévois de suivre ses traces et de former le système sur mon cas (que je suis actuellement en train de préparer) - heureusement, l'auteur a laissé des instructions assez détaillées sur la façon d'aborder une tâche d'une telle ampleur ... ;)



En attendant, uniquement pour le plaisir, je propose au public des expériences avec le système, basées sur le post sur le refroidisseur GPT-3 (bien que l'auteur, évidemment, ne considère pas GPT-3 comme quelque chose d'exceptionnel). D'une part, le système présenté ici est beaucoup plus simple que GPT-3, d'autre part, il s'agit toujours d'un modèle en langue russe formé! Je trouve ça drôle.



Avertissement. Les résultats sont largement déterminés par le corpus sur lequel le réseau a appris. Voici ce que l'auteur en dit: j'ai gratté quelques sites de presse russes , analysé du HTML avec beautifulsoup4 et sauvegardé des textes analysés ainsi que des métadonnées (en-têtes, TL; DR, horodatages) pour un tri et un post-traitement plus poussés dans les PKL ... Afin de pousser les choses De plus, l'ensemble de données 4 Go (415 millions de jetons) a été augmenté avec 3 Go de fanfics filtrés , devenant un 7 Go (862 millions de jetons).



La technique expérimentale est simple: j'exécute le réseau trois fois avec la même entrée. La sortie réseau est marquée en gras... Je n'ai fait aucune modification, sauf pour des modifications purement cosmétiques - comme des espaces manquants (qui ont été omis à cause de mon interférence dans le code *). Dans l'ensemble, les expériences reprennent celles décrites dans l'article sur GPT-3, et j'ai décidé de ne pas les commenter en aucune façon ...;)

Expérience n ° 1

. >>>

Vous vous versez un verre de jus de canneberge, mais vous y ajoutez par la suite une cuillère à café de jus de raisin. Il a l'air bien. Vous essayez de le renifler, mais vous avez un mauvais rhume, donc vous ne sentez pas. Vous avez très soif. Par conséquent, vous buvez du café avec du miel et du sucre.

>>> nouveau

Vous vous versez un verre de jus de canneberge, mais vous y ajoutez par la suite une cuillère à café de jus de raisin. Il a l'air bien. Vous essayez de le renifler, mais vous avez un mauvais rhume, donc vous ne sentez pas. Vous avez très soif. Alors vous vous servez à nouveau du café. Vous vous sentez nauséeux. Il n'y a rien de mal à cela, vous ne savez pas comment le boire de toute façon. Vous ressentez quelque chose de très mauvais, mais personne ne fait attention à vous.

>>> nouveau

Vous vous versez un verre de jus de canneberge, mais vous y ajoutez par la suite une cuillère à café de jus de raisin. Il a l'air bien. Vous essayez de le renifler, mais vous avez un mauvais rhume, donc vous ne sentez pas. Vous avez très soif. Alors tu continues à manger si tu veux, mais tu ne sais pas à quoi ça ressemble.

Expérience n ° 2

. >>>

Vous avez organisé une petite fête. Vous souhaitez servir le dîner dans le salon. La table de la salle à manger est plus large que la porte et vous devrez boire un verre de lait chaud pour le déplacer dans le salon .

>>> nouveau

Vous avez organisé une petite fête. Vous souhaitez servir le dîner dans le salon. La table de la salle à manger est plus large que la porte et fait quelques pas pour entrer dans le salon .

>>> nouveau

Vous avez organisé une petite fête. Vous souhaitez servir le dîner dans le salon. La table de la salle à manger est plus large que la porte et il faut beaucoup de travail pour la déplacer dans le salon .

Expérience n ° 3

. >>>

Vous êtes un avocat de la défense et vous devez vous présenter au tribunal aujourd'hui. En vous habillant le matin, vous constatez que le pantalon de votre costume est très sale. Cependant, vos malles sont propres et très élégantes. Ce sont des maillots de bain haut de gamme de France qu'Isabelle vous a offerts pour votre anniversaire. Décidez-vous quoi porter pour le procès ?

Oh oui*

>>> nouveau

Vous êtes un avocat de la défense et vous devez vous présenter au tribunal aujourd'hui. En vous habillant le matin, vous constatez que le pantalon de votre costume est très sale. Cependant, vos malles sont propres et très élégantes. Ce sont des maillots de bain haut de gamme de France qu'Isabelle vous a offerts pour votre anniversaire. Vous décidez quoi porter pour le procès . Si vous n'aimez pas quelque chose, emportez avec vous les vêtements de votre garde-robe.

>>> nouveau

Vous êtes un avocat de la défense et vous devez vous présenter au tribunal aujourd'hui. En vous habillant le matin, vous constatez que le pantalon de votre costume est très sale. Cependant, votre maillot de bain est propre et très élégant. Ce sont des slips de bain haut de gamme de France qu'Isabelle vous a offerts pour votre anniversaire. Décidez-vous quoi porter pour le procès ?

- J'ai beaucoup de questions pour un avocat.

Expérience n ° 4

. >>>

Hier, j'ai laissé mes vêtements au pressing, et aujourd'hui je dois encore les récupérer. Où sont mes vêtements?

- Idiot, j'ai besoin de le récupérer, pas tout faire comme prévu.

>>> nouveau

Hier, j'ai laissé mes vêtements au pressing, et aujourd'hui je dois encore les récupérer. Où sont mes vêtements?

- Non, je ne sais pas ce que sont ces choses, mais je peux toujours en prendre une, et ce n'est pas toujours agréable.

>>> nouveau

Hier, j'ai laissé mes vêtements dans le pressing, et aujourd'hui je dois encore les récupérer. Où sont mes vêtements?

- D'accord. Je ne vais pas le déranger, ai-je répondu.

Expérience n ° 5

. >>>

Janet et Penny sont allées au magasin acheter un cadeau pour Jack. Janet a dit: "Je vais acheter un haut à Jack." «N'achetez pas de haut à Jack», dit Penny. «Il a un haut. Il me l'obtiendra quand nous choisirons, et si vous n'achetez pas Jack, vous vendrez Jack.

>>> nouveau

Janet et Penny sont allées au magasin acheter un cadeau pour Jack. Janet a dit: "Je vais acheter un haut à Jack." «N'achetez pas de haut à Jack», dit Penny. «Il a un haut. Il obtiendra son morceau de Jack.

>>> nouveau

Janet et Penny sont allées au magasin acheter un cadeau pour Jack. Janet a dit: "Je vais acheter un haut à Jack." «N'achetez pas de haut à Jack», dit Penny. «Il a un haut. Il recevra . Je vais le prendre. Il est toujours là. Et je ne vendrai pas. Seulement contrairement à Jack. Il ne s'intéresse pas à ce qui ne lui a pas plu tant. Il n'achètera rien d'autre que de s'acheter lui-même.

Expérience n ° 6

. >>>

À la fête, je me suis versé un verre de limonade, mais c'était trop acide, alors j'ai ajouté un peu de sucre. Il n'y avait pas de cuillère sous la main, alors j'ai remué la boisson avec une cigarette. Mais cela s'est avéré être une très mauvaise idée, car je buvais depuis longtemps. Wow, quel goût merveilleux!

>>> nouveau

À la fête, je me suis versé un verre de limonade, mais c'était trop acide, alors j'ai ajouté un peu de sucre. Il n'y avait pas de cuillère sous la main, alors j'ai remué la boisson avec une cigarette. Mais cela s'est avéré être une très mauvaise idée, car la limonade m'empêchait de boire.

>>> nouveau

À la fête, je me suis versé un verre de limonade, mais c'était trop acide, alors j'ai ajouté un peu de sucre. Il n'y avait pas de cuillère sous la main, alors j'ai remué la boisson avec une cigarette. Mais cela s'est avéré être une très mauvaise idée car il faisait trop chaud, alors j'ai commencé à boire dans ma gorge.

Expérience n ° 7

. >>>

, . – .



1. , . . , , . . .



) .

) .



: 2. )

* Une petite digression lyrique. Je n'aimais pas GPT-2 avec une génération de texte illimitée (une demi-page à la fois), comme c'était le cas dans la source. Et j'ai poignardé la sortie au minimum , mais j'ai rendu possible la poursuite récursive (lorsque la sortie précédente est introduite dans l'entrée). Ainsi, je triche un peu , car Je décide moi-même quand vous pouvez / devez vous arrêter. Dans ce cas, le réseau a vraiment fait ressortir un résultat qui peut être interprété avec un peu d'étirement comme une réponse (bien que paradoxale), mais si nous continuons la conclusion, alors ...

Bonne réponse:

2. A) Vous n'avez PAS besoin de connaître le reste.

3. B) Dépendance.

4. Sur quelle base voulez-vous le boire?

>>> nouveau

… La



bonne réponse: ce sont des substances toxiques.

>>> nouveau

... La



bonne réponse est: "Tout est prêt."

Pour sim, c'est tout ...



PS Si la communauté vous dit où vous pouvez placer un modèle 5Gb (afin qu'il soit disponible avec quelque chose comme wget ) - j'ajouterai un lien vers le cahier Colab à l'article et à toute personne qui veut pouvoir conduire le système en direct ... ) Et puis mon "hébergement" à la maison, j'en ai peur, ne résistera pas à l'effet habr. En attendant, je peux essayer ce qui se passe avec votre texte en entrée, si quelqu'un est intéressé!



MISE À JOUR: Communauté représentée parGrigorova répondu, alors voici le bloc-notes promis ! Vous pouvez maintenant expérimenter vous-même, comparer avec l' original (lien de l'articleDesertFlow Réseau de neurones GPT-2 d'OpenAI. Démarrage rapide ) et peut-être tirer quelques conclusions. ;) Par exemple: la langue est-elle importante lors de l'enseignement du modèle linguistique?



COMMENTAIRE DE L'AUTEUR : Salut,



oui, bien sûr, cela ne me dérange pas - sinon je ne téléchargerais pas le modèle ici.



>>> La langue est-elle importante lors de l'enseignement d'un modèle de langage?



Bien sûr, j'ai remarqué que les modèles avec un petit nombre de paramètres fonctionnent moins bien avec la langue russe. Je suppose que cela est dû à la sémantique plus complexe (moins formalisée) du russe par rapport à l'anglais; J'ai écrit à ce sujet dans mon écrit. Aussi, la façon de transmettre les dialogues, acceptée en russe, lorsque chaque réplique commence sur une nouvelle ligne et est précédée d'un tiret, sans préciser à qui appartiennent ces répliques, n'aide pas le modèle à identifier correctement la structure du dialogue (et en plus rend difficile l'entraînement, car le modèle apprend à structurer des textes comme façon - le même effet est observé quand un balisage fuit dans les données d'apprentissage).



Un autre point que j'ai manqué (cela m'a semblé évident) - si vous voulez affiner ce modèle, vous devez utiliser ce dictionnaire de phrases (sp. *) Fourni avec le modèle.



En outre, lors de la formation de 1250 millions, principalement des nouvelles, la presse et plus tard des fanfictions ont été utilisées, ce qui se reflète dans la nature des résultats.