Comprendre les données organisées séquentiellement - qu'il s'agisse de la langue, de la musique ou de la vidéo - est difficile, en particulier lorsqu'elles dépendent fortement du contexte qui les entoure. Par exemple, si une personne ou un objet disparaît du champ de vision de la vidéo et réapparaît après une période de temps significative, de nombreux modèles oublieront à quoi il ressemblait. Dans le domaine du traitement du langage, les réseaux de neurones à mémoire à long terme (LSTM ) fournissent un contexte suffisant pour réussir à traduire phrase par phrase . Dans ce cas, la fenêtre contextuelle (c'est-à-dire la couverture des données que le modèle prend en compte lors de la traduction) peut contenir de dix à cent mots. Nouveau modèle de transformateura non seulement amélioré la qualité de la traduction consécutive, mais peut être utilisé pour générer des articles entiers de Wikipédia en résumant plusieurs documents. Ceci est possible car le Transformer a agrandi la fenêtre contextuelle à mille mots. De plus, un contexte aussi vaste permet d'utiliser le Transformer pour traiter non seulement du texte, mais aussi des pixels ou des notes de musique, à partir desquels des images ou de la musique peuvent être générées .