Et d'ailleurs, hier 7 décembre, Noam Chomsky a eu 92 ans!
kf "Captain Fantastic"
Un peu sur Noam Chomsky
Noam Chomsky est avant tout professeur de linguistique (beaucoup l'appellent "le père de la linguistique moderne"), mais il est probablement mieux connu en dehors du monde universitaire en tant qu'activiste, philosophe et historien. Chomsky est l'auteur de plus de 100 livres et est reconnu comme le principal intellectuel public du monde dans un sondage réalisé en 2005 par Foreign Policy and Prospect .
J'admire le travail de Chomsky, en particulier sa critique de l'impérialisme américain, du néolibéralisme et des médias. Là où nos points de vue divergeaient quelque peu, c'était en ce qui concerne son rejet des philosophes continentaux (en particulier des post-structuralistes français). J'ai peut-être été entaché d'emprunter trop aux sources de Foucault, Lacan et Derrida au début de ma vie adulte, mais j'ai toujours trouvé l'approche analytique de Chomsky de la philosophie moralement attrayante mais un peu «raffinée» pour une explication satisfaisante de notre monde. Si son dédain pour ces sommités post-structurelles est frappant, les vues philosophiques de Chomsky sont plus subtiles que ne le croient ses détracteurs.
Grammaire universelle
Je dois dire tout de suite que je ne suis pas linguiste, mais dans cette partie de l'article j'essaierai de donner un aperçu de la théorie de la grammaire universelle. Avant Chomsky, l'hypothèse prédominante en linguistique était que les humains naissent avec un esprit tabula rasa et acquièrent le langage par renforcement. Autrement dit, les enfants entendent ce que disent leurs parents, imitent ce qu'ils ont entendu et lorsqu'ils utilisent un mot correctement ou construisent une phrase, ils sont félicités. Chomsky a montré que le renforcement n'est qu'une partie du processus et qu'il doit y avoir des structures universelles innées dans le cerveau humain pour faciliter l'acquisition du langage. Ses principaux arguments étaient:
- Les enfants apprennent la langue trop rapidement et il y a trop peu de données pour expliquer cela par l'apprentissage par renforcement (un argument connu sous le nom de «pauvreté incitative»).
- , , . 1960- , , 10 , .
- . , , .
- . , , , , .
Cette théorie de la capacité linguistique génétiquement codée en dur a été largement acceptée dans la communauté scientifique, mais la question évidente était: «À quoi ressemble cette grammaire universelle? Bientôt, des chercheurs courageux ont commencé à découvrir les propriétés communes de toutes les langues humaines, mais il n'y a toujours pas de consensus sur la forme de nos capacités linguistiques innées. Il est prudent de supposer qu'une grammaire universelle ne se compose pas de règles syntaxiques spécifiques, mais est très probablement une fonction cognitive fondamentale.
Chomsky a postulé qu'à un certain moment de l'histoire, les humains ont développé la capacité d'effectuer un processus récursif simple appelé «fusion», un processus responsable des propriétés et des limites des structures syntaxiques dans les langues humaines. C'est un peu abstrait (et trop compliqué pour bien faire les choses), mais essentiellement "fusionner" est le processus consistant à prendre deux objets et à les combiner pour former un nouvel objet. Malgré la nature apparemment prosaïque, la capacité de combiner mentalement des concepts et de le faire de manière récursive est trompeuse et nous permet de créer «une variété infinie d'expressions structurées hiérarchiquement». Ce petit saut génétique décisif peut non seulement expliquer notre capacité à communiquer verbalement, mais aussi conduire àafin qu'il soit responsable (au moins en partie) de nos talents mathématiques et de la créativité humaine au sens large. Cette mutation de «fusion», qui s'est produite chez l'un de nos ancêtres il y a environ 100 000 ans, est peut-être l'un des éléments clés qui séparent les humains des autres animaux.
Réseau neuronal artificiel
La principale raison pour laquelle j'ai contacté le professeur Chomsky était la suivante: je voulais entendre son point de vue sur les réseaux de neurones artificiels (j'en sais beaucoup plus sur eux que sur la linguistique). ANN est un sous-ensemble de modèles d'apprentissage automatique qui sont modelés sur le cerveau humain et apprennent de la même manière: en examinant de nombreux exemples. Ces modèles nécessitent très peu de code et peuvent effectuer une assez large gamme de tâches complexes (par exemple, marquage d'image, reconnaissance vocale, génération de texte ) avec une architecture relativement simple. Un exemple instructif de cette approche est le modèle AlphaGo .(développé par Google), qui a appris à jouer à Go (un jeu de société difficile et problématique) et est finalement devenu invincible pour les champions du monde humains. La chose la plus impressionnante à ce sujet est qu'elle a été formée pour jouer sans règles codées en dur ni intervention humaine, c'est-à-dire que le modèle était "tabula rasa". Bien que l'ANN ne soit certainement pas une analogie parfaite avec le cerveau humain, j'ai demandé au professeur si les ANN disent que nous n'avons pas vraiment besoin de structures cognitives codées en dur pour apprendre à partir de données dispersées.
Chomsky a correctement souligné que les ANN sont utiles pour des tâches hautement spécialisées, mais ces tâches devraient être fortement limitées (bien que leur volume puisse sembler énorme étant donné la mémoire et la vitesse des ordinateurs modernes). Il a comparé ANN à une grue massive travaillant sur un immeuble de grande hauteur; bien que ce travail soit certainement impressionnant, le bâtiment et la grue existent dans des systèmes avec des limites fixes. Ce raisonnement est cohérent avec mon observation selon laquelle toutes les percées en apprentissage profond que j'ai observées se sont produites dans des domaines très spécifiques, et nous ne semblons pas nous approcher de quoi que ce soit de tel dans l'intelligence artificielle généralisée (quoi que cela signifie). Chomsky a également souligné la preuve croissante que les RNA ne peuvent pas modéliser avec précision les capacités cognitives humaines, qui sont relativement riches enque les systèmes informatiques impliqués peuvent s'étendre même au niveau cellulaire.
Si Chomsky a raison (et je pense qu'il a raison), quelles sont les implications de l'avancement de la recherche sur l'apprentissage en profondeur? Après tout, il n'y a rien de magique dans le cerveau humain. C'est juste une structure physique composée d'atomes, et il est donc tout à fait rationnel de croire qu'à un moment donné dans le futur, nous pourrons créer une version artificielle du cerveau capable d'intelligence généralisée. Cela dit, les RNA modernes n'offrent qu'un simulacre de ce type de cognition, et selon la logique de Chomsky, nous n'atteindrons pas cette prochaine frontière sans d'abord approfondir notre compréhension du fonctionnement des réseaux de neurones organiques.
Relativisme moral
L'application éthique de l'IA est un problème majeur chez les data scientists d'aujourd'hui, mais elle peut parfois sembler vague et subjective dans un autre domaine spécifique. Le travail de Chomsky fournit non seulement une perspective technique unique sur l'avenir de l'apprentissage profond; la grammaire universelle a aussi de profondes implications morales, puisque la langue est la façon dont nous parlons du monde et l'interprétons. Par exemple, Chomsky estime que les structures neurales innées susmentionnées excluent le relativisme moral et qu'il doit y avoir des contraintes morales universelles. Il existe de nombreuses variétés différentes de relativisme moral, mais le principe de base est qu'il ne peut y avoir de base objective pour les définitions éthiques. Les relativistes moraux soutiennent que même si nous croyons profondément en des déclarations telles que "l'esclavage est immoral"nous n'avons aucun moyen empirique de le prouver à ceux qui ne sont pas d'accord avec nous, car toute preuve sera nécessairement basée sur des jugements de valeur, et nos valeurs sont en fin de compte exogènes et déterminées par la culture et l'expérience.
Chomsky soutient que la moralité se manifeste dans le cerveau et est donc, par définition, un système biologique. Tous les systèmes biologiques ont des variations (naturelles et dues à des stimuli différents), mais ces variations ont aussi des limites. Considérez le système visuel humain: des expériences ont montré qu'il a une certaine flexibilité et est façonné par l'expérience (en particulier dans la petite enfance). En faisant varier les données entrant dans le système visuel humain, on peut littéralement changer la distribution des récepteurs et ainsi changer la façon dont une personne perçoit les lignes horizontales et verticales. Ce que vous ne pouvez pas faire, c'est transformer l'œil humain en œil d'insecte ou donner à quelqu'un la capacité de voir les rayons X. Selon Chomsky, les systèmes biologiques (y compris la moralité) peuvent varier considérablement, mais pas à l'infini.Il poursuit en disant que même si vous croyez que notre moralité vient entièrement de la culture, vous devez toujours acquérir cette culture de la même manière que vous acquérez n'importe quel système (en raison de structures cognitives innées qui sont universelles).
Ma première addition à ce qui a été dit dans cet article est la suivante: si nous supposons que la moralité est simplement une conséquence de la "fusion" (ou quelque chose d'aussi primitif), alors même si cela peut imposer des limites théoriques, ma compréhension intuitive est que que notre moralité peut changer si brutalement qu'il est presque impossible de porter des jugements universels. Chomsky a débattu dans le passé de la façon dont le progrès moral semble suivre certaines tendances (par exemple, accepter les différences, rejeter l'oppression, etc.), mais j'ai du mal à comprendre comment ces grandes tendances émergeront systématiquement de ces structures cognitives atomiques simples. Quand j'en ai parlé au professeur, il a fait valoir que ce point de vue est illusoire et que lorsque nous ne comprenons pas les choses, elles semblent être plus variées et complexes,qu'il ne l'est vraiment. Il a donné un exemple de la déviation observée dans les squelettes de corps d'animaux après l'explosion cambrienne. Il y a à peine 60 ans, l'opinion dominante en biologie était que les organismes changent tellement que chacun d'eux doit être étudié individuellement, mais maintenant nous savons que c'est complètement faux et que les différences génétiques entre les espèces sont assez faibles. Les variations des systèmes complexes achetés devraient être minimes, sinon nous ne serions pas en mesure de les acquérir.Les variations dans les systèmes complexes achetés devraient être minimes, sinon nous ne serions pas en mesure de les acquérir.Les variations dans les systèmes complexes achetés devraient être minimes, sinon nous ne serions pas en mesure de les acquérir.
N'oubliez pas le code promo HABR , qui ajoute 10% à la réduction sur la bannière.