Les scientifiques de DeepMind ont compilé une liste de ressources organisée de matériels éducatifs pour ceux qui cherchent à connecter leur vie à l'IA et à l'apprentissage automatique. J'appelle cette collection «ontol» - une liste de ce qui forme l'image du monde sur cette question, classée par importance et compilée par une personne vivante, un spécialiste qui a une réputation pour cette liste (afin qu'il n'y ait pas de marketing et de déchets biaisés).
Comme prévu, si les dix meilleures entreprises dans le domaine de l'IA demandent à leurs principaux spécialistes (chacun) de faire une sélection des meilleurs matériaux qui les ont formés en tant que spécialistes, nous obtiendrons alors un tableau de collections (liste des ressources 10/100 principales + nom du compilateur) et sur cette base, vous pouvez tirera des conclusions intéressantes (a) sur la qualité des matériaux, qui devraient être enseignées tout d'abord b) sur la qualité des spécialistes qui peuvent mettre en évidence l'essentiel c) autre chose). C'est ainsi que nous «marquerons» tous les textes / vidéos ouverts dans le domaine de l'IA. Ensuite, nous aborderons d'autres sujets: la nourriture, la confiance, le travail de la vie, la famille, la coopération, les distorsions cognitives, etc. - ce qui forme l'image du monde.
Testez le prototype beta.ontol.org et abonnez-vous à la chaîne @Ontol
Table des matières
Safety
Neuroscience
Natural Language Processing
Machine Learning
Deep Learning
Reinforcement Learning
Unsupervised Learning and Generative Models
21 Définitions de l'équité et de leur politique (vidéo) - Arvind Narayanan discute des différentes définitions de l'équité et des compromis qu'elles représentent pour la société.
Livre sur l'équité et l'apprentissage automatique (livre, vidéo) - Un aperçu de l'équité dans des sujets liés à l'apprentissage automatique.
Cours de justice de l'Université Harvard (vidéo) - Conférences approfondies et engageantes sur la justice et la philosophie morale ( Traduction ).
Tutoriel NeurIPS 2017 sur l'équité dans l'apprentissage automatique (vidéo) - Solon Barokaz et Moritz Hardt discutent en détail des éléments socio-techniques de l'équité dans l'apprentissage automatique.
Le problème du biais - NeurIPS 2017 (vidéo) - Keith Crawford discute des implications ethniques des préjugés dans les systèmes d'intelligence artificielle.
sécurité
AGI Safety Literature Review (publication) - Une excellente revue de la littérature sur la sécurité de l'intelligence artificielle générale jusqu'en 2018 avec des centaines de références pour une étude plus approfondie.
Newsletter AI Alignment par Rohin Shah (Newsletter) - Une newsletter hebdomadaire résumant les derniers travaux dans le domaine de la sécurité de l'intelligence artificielle.
Chaîne YouTube sur la sécurité de l'IA par Robert MIles (vidéo) - Vidéos éducatives et divertissantes qui présentent au public des concepts clés pour la sécurité de l'intelligence artificielle générale.
Problèmes concrets en matière de sécurité de l'IA (publication) - Un aperçu utile sur la sécurité de l'intelligence artificielle, l'original et l'article sont déjà devenus un classique dans le domaine de la sécurité de l'IA.
Human Compatible: Artificial Intelligence and the Problem of Control par Stuart Russell (livre) - Un livre incontournable sur la sécurité de l'intelligence artificielle par l'auteur de l'IA originale.
Théorie et concepts fondamentaux
Chaîne Youtube 3Blue1Brown (vidéo) - Une grande série de tutoriels. La vidéo à partir de zéro sur l'algèbre linéaire et les réseaux de neurones est particulièrement utile.
Une vision 2020 de l'algèbre linéaire (Gilbert Strang, MIT) (vidéo) - Résume brièvement l'ensemble du cours sur l'algèbre linéaire avec des détails techniques: comment l'algèbre linéaire est utilisée dans la vie réelle, et en particulier dans le domaine de l'apprentissage automatique.
Cours d'apprentissage automatique d'Andrew Ng ( cours en ligne) - Le premier cours d'apprentissage automatique très pratique et complet. Étant donné que le cours est sur la plate-forme Coursera, vos devoirs peuvent être évalués, et les assistants et autres étudiants peuvent vous aider avec le matériel du cours.
Inférence causale dans les statistiques: une introduction(préimpression en ligne) - Une excellente introduction à la conclusion causale. Ceci est une pré-impression de la version complète du dernier livre.
Causal Inference: What If (livre en ligne) - Nouveau livre sur l'inférence causale.
David MacKay, vidéos du cours de théorie de l'information (vidéo) - Couvre un large éventail de domaines de l'identité d'entreprise de McKay.
Cours de David MacKay sur la théorie de l'information, la reconnaissance des formes et les réseaux de neurones (vidéo) - Cours légendaire de David MacKay sur la théorie de l'information, la détection des formes de données et les réseaux de neurones.
Fondements théoriques de la décision pour la causalité statistique (article en ligne) - Une façon alternative de formuler des opérations d'inférence causale.
Cours d'été à Deep Bayes et matériel de laboratoire(vidéo) - Cours et travaux pratiques sur la modélisation probabiliste et la formation bayésienne.
Elements of Causal Inference: Foundations and Learning Algorithms (livre en ligne) - Ce livre présente au lecteur une conclusion causale d'une manière simple et abordable.
Essence d'algèbre linéaire (3blue1brown) (vidéo) - Donne une très bonne compréhension des idées clés de l'algèbre linéaire sans entrer dans les détails techniques. Accompagne un manuel d'algèbre linéaire traditionnel ou un cours collégial.
Blog de Francis Bach - Trucs et astuces utiles, analyse approfondie de divers concepts d'apprentissage automatique.
Cours d'entreprise sur l'intelligence humaine (supports de cours ) - Histoire de l'intelligence humaine.
Les mathématiques abstraites de la topologie sont-elles applicables au monde réel? (vidéo) - L'introduction est une excellente description des bases de la topologie. L'atelier décrit de manière convaincante certaines applications.
Cours KhanAcademy (vidéo) - Une excellente introduction aux statistiques, à la théorie des probabilités et aux mathématiques nécessaires pour comprendre l'apprentissage automatique.
Cours Learning from Data - Caltech (vidéo) - Une introduction soignée à l'apprentissage automatique. Explication très claire des sujets.
Notes de cours sur Monte Carlo (notes de cours) - Une brève explication de la méthode de Monte Carlo.
Mathematics for Machine Learning (livre) - Un excellent livre couvrant les concepts mathématiques de base nécessaires à l'apprentissage automatique.
Cours MIT Machine Learning ( cours en ligne) - Excellent cours 2006 sur les bases (et maintenant l'histoire) de l'apprentissage automatique avant que l'apprentissage profond et de nombreux niveaux d'abstraction ne deviennent courants.
Cours Nando de Freitas sur l'apprentissage automatique (vidéo) - Cours et présentation utiles sur l'apprentissage automatique.
Princeton Companion to Mathematics (livre) - Probablement la source mathématique la plus frappante de toutes. Le livre offre un aperçu détaillé des concepts les plus importants des mathématiques modernes, sans arrière-plan dans le format de l'histoire du coucher autoproclamé - amusant, facile à comprendre et intuitif.
Projet Euler(Problem Solving Community) - Une série de problèmes mathématiques complexes et de problèmes de l'informatique pour activer le cerveau. Ils sont très intéressants à résoudre et les connaissances acquises vous aideront dans votre carrière dans le domaine du deep learning.
Cours de théorie de l'apprentissage statistique ( cours en ligne) - Un cours gratuit sur les bases de l'apprentissage automatique, destiné aux personnes ayant une formation en mathématiques, est dispensé par les professeurs Hasti et Tibshirani.
Strang Toutes les idées clés de l'algèbre linéaire en 1 leçon (vidéo) - Laconique, complète.
Le livre du pourquoi (chapitres du livre) - Une introduction facile à l'inférence causale et une digression historique dans son développement.
Neuroscience
Brain Inspired Podcast - Un podcast qui fusionne la neuroscience et l'intelligence artificielle.
Conférences de l'école d'été du Center for Brains Minds + Machines (vidéo) - Conférences de la célèbre école d'été de Woods Hole sur la neurobiologie computationnelle * cognitive * (en savoir plus sur la cognition, le comportement et les relations de haut niveau avec l'apprentissage automatique).
Computational Cognitive Modeling @ NYU (diapositives et textes) - Une revue des approches informatiques de modélisation de la cognition humaine, étroitement liées à l'intelligence artificielle et à l'apprentissage automatique.
Modèles informatiques du néocortex (Notes de cours) - Interdisciplinaire et avancé.
Conférences de l'Université d'été Woods Hole sur les méthodes en neurosciences computationnelles(vidéo) - Conférences de la célèbre université d'été de Woods Hole sur le * système * computationnel de la neurobiologie (en savoir plus sur les cycles et les propriétés systémiques du cerveau)
Marr's Levels of Analysis (Vision, 1982, chapitre 1) (chapitre du livre) - Explique parfaitement avec des exemples par des exemples algorithmes utiles comme EM. Sert un excellent ajout au livre de Bishop.
Cours d'été MIT sur les cerveaux, les esprits et les machines (vidéo) - Un cours de niveau supérieur à l'intersection des sciences cognitives, des neurosciences et de l'intelligence artificielle.
Modèles probabilistes de cognition (didacticiel interactif) - Un didacticiel interactif qui décrit l'utilisation d'un modèle probabiliste pour créer et modéliser un comportement de type humain.
Le défi de comprendre le cerveau: où en sommes-nous en 2015(publication) - Un bon aperçu de la neurobiologie en termes de biologie.
Neuroscience théorique (livre en ligne) - Une introduction populaire à la neurobiologie théorique.
Traitement du langage naturel
Une introduction en code au traitement du langage naturel (vidéo) - Une introduction au traitement du langage naturel pour les personnes ayant une formation technique.
A Primer on Neural Network Models for Natural Language Processing (publication) - Un aperçu clair de la façon dont les réseaux de neurones sont utilisés dans le traitement du langage naturel.
CS224n: Traitement automatique du langage naturel avec apprentissage profond (vidéo) - Cours de Stanford sur le traitement moderne du langage naturel .
NLP Progress (liste des ensembles de données et des résultats) - Un site Web communautaire répertoriant un grand nombre de tâches, d'ensembles de données et de résultats de traitement en langage naturel moderne.
Cours de PNL Oxford / DM 2017(Course of Lectures) - Cours avancé sur le traitement de texte en langage naturel donné à Oxford par DeepMinders.
Speech and Language Processing (livre) - Une référence faisant autorité sur le traitement du langage naturel - maintenant dans la version 3D et disponible en ligne.
The Annotated Transformer (article de blog) - Une excellente introduction au modèle de traitement du langage naturel dominant.
Apprentissage automatique
Amii's Coursera Machine Learning: Algorithms in the Real World Specialization (cours en ligne) - Excellent aperçu de la formation et de l'identification des problèmes d'apprentissage automatique et de leurs solutions.
Raisonnement bayésien et apprentissage automatique (livre en ligne) - Les bases du raisonnement et de la modélisation probabilistes.
David MacKay, Gaussian Process Basics (vidéo) - L'introduction la plus accessible et la plus simple du processus gaussien.
Le livre de David MacKay «Théorie de l'information, inférence et algorithmes d'apprentissage» (livre) - David MacKay offre une perspective unique sur la relation entre la théorie de l'information, l'inférence et l'apprentissage. Son style d'écriture est unique, tout comme l'humour du livre.
Entrer dans l'apprentissage automatique (blog) - Un blog pour ceux qui veulent faire de l'apprentissage automatique.
Notes de cours sur l'apprentissage automatique - Notes de cours d'Herbert Yager sur l'apprentissage automatique. Décrivez les nombreuses bases et normes des sujets d'apprentissage automatique. Très bien écrit (presque comme un livre).
Machine Learning à UBC 2012 (Vidéo) - Cours de Machine Learning 2012 de l'Université de la Colombie-Britannique.
Apprentissage automatique, probabilités et modèles graphiques (Sam Roweis) (vidéo) - Excellente explication des modèles graphiques par le légendaire Sam Roweis.
Classement des cours en ligne ML (liste des ressources) - Un aperçu assez complet des meilleurs cours d'apprentissage automatique en ligne.
Cours d'apprentissage automatique de Stanford (vidéo) - Une introduction au cours d'apprentissage automatique.
Classiques du dimanche(liste de ressources) - Une collection de classiques sur tous les sujets en apprentissage automatique, sciences cognitives, statistiques, théorie de l'information, neurosciences, intelligence artificielle, traitement du signal, recherche opérationnelle, économétrie, etc.
WEKA: un atelier pour l'apprentissage automatique (ressources en ligne) - Un large éventail d'outils logiciels gratuits pour se familiariser avec les données, la visualisation des données, la classification, la régression, le choix des caractéristiques et les bases de la science des données. J'utilise constamment ces ressources pour apprendre aux autres à voir les modèles dans les données et à apprécier à quel point le système peut voir et utiliser ces modèles et plus complexes.
David MacKay, toutes les vidéolectures (vidéo) - Le nom de David McKay est bien connu dans le domaine, en particulier dans les statistiques et l'apprentissage automatique probabiliste.
L'apprentissage en profondeur
Andrej Karpathy blog / guide hacker (entrée de blog) - Une introduction très abordable aux réseaux de neurones. Également sur son blog, vous pouvez trouver des conseils pratiques applicables à la vie.
Un aperçu des algorithmes d'optimisation de descente de gradient (post blog) - Un poste exhaustif d' examiner les options de base pour une descente de gradient utilisé pour optimiser les réseaux de neurones
Chris blog de Olah (blog) - L'approche de Chris Ola peut être appelé très instructif pour explorer les concepts clés (tels que les concepts compréhension et éléments) dans l'apprentissage automatique à un niveau profond. Chris est passionné par l'éducation et l'excellente écriture.
Crash Course AI (vidéo) - Série d'introduction utile et bien préparée. Probablement le meilleur pour les écoliers et les débutants.
CS231: Réseaux de neurones convolutifs pour la reconnaissance visuelle (Stanford) (vidéo) - Excellentes notes sur le lien: cs231n.github.io Une belle continuation du cours d'Andrew Eun, qui nous plonge plus profondément dans les réseaux de neurones convolutifs (cela a été brièvement mentionné à la fin du cours précédent) et représente des concepts plus avancés, tels que les modèles génératifs, le renforcement profond.
CS231n: Convolutional Neural Networks for Visual Recognition (les légendaires conférences CNN de Stanford) (vidéo) - Un excellent aperçu des travaux classiques et anciens sur les réseaux de neurones convolutifs qui forment la base d'une grande partie du travail avec les données visuelles
Deep Learning à Oxford 2005 (vidéo ) - Le cours Oxford Deep Learning 2015.
Deep Learning Book (livre) - Une introduction complète aux bases de l'apprentissage profond par certains découvreurs dans ce domaine.
Deep Learning Indaba Practicals (Colabs) - Il existe des tutoriels qui ont été développés et testés chez l'homme au fil des ans pour enseigner l'apprentissage en profondeur des fondamentaux aux sujets avancés tels que la construction d'un cadre de différenciation automatique ou l'apprentissage d'un réseau antagoniste génératif.
Plongez dans le Deep Learning (livre) - Un excellent format qui fait de l'apprentissage des concepts clés de l'apprentissage automatique une expérience amusante et interactive.
Cours DL + RL avec UCL(vidéo) - Ce cours a couvert de nombreux sujets liés à l'apprentissage profond et à l'apprentissage par renforcement. Il consistait en deux voies, pour la plupart séparées, l'une en apprentissage profond et l'autre en apprentissage par renforcement, qui pouvaient être étudiées séparément.
EEML ( première / deuxième édition ) Matériel de laboratoire (Colabs) - Conférences et ateliers sur la modélisation probabiliste et l'apprentissage bayésien.
Diapositives EEML de conférences (diapositives) - Diapositives pour les conférences EEML de l'année dernière (malheureusement, aucune entrée). Ils couvrent un large éventail de matériaux, de l'introduction aux présentations plus complexes.
Deep Stack Deep Learning(cours en ligne) - Les modèles d'apprentissage profond n'existent pas dans le vide. Ce cours couvre les aspects pratiques de l'apprentissage en profondeur tels que le modèle de mise en œuvre, l'infrastructure, le débogage et même la préparation aux entretiens d'apprentissage en profondeur.
Présentation de l'apprentissage automatique à l'atelier de Lviv ( un , deux ) (conférences) - Introduction à l'apprentissage automatique. Il présente la théorie sur laquelle construire un moteur d'apprentissage en profondeur.
Vidéos et travaux pratiques Khipu + github (vidéo + diapositives) - Matériel de Khipu - vidéos et travaux pratiques à faire passer.
Le blog de Lilian Weng(blog) - Le blog de Lilian contient des articles sur divers sujets, à commencer par l'enseignement d'un programme d'études, l'apprentissage basé sur l'autosurveillance, le méta-apprentissage, etc. Les articles eux-mêmes ne sont pas trop détaillés, allant parfois trop loin dans la spécialisation, mais ils sont souvent mis à jour avec de nouvelles informations apparues après la publication de l'article d'origine.
MIT 6.S191 Intro to Deep Learning (vidéo et tutoriels) - Cours d'introduction au Massachusetts Institute of Technology pour l'apprentissage profond et les systèmes d'information.
Journal en ligne - Un journal en ligne évalué par des pairs qui vous permet de créer des visualisations et du code informatifs, notamment pour faciliter la compréhension des documents de recherche et augmenter la transparence et la reproductibilité.
Traitement distribué parallèle(livre en ligne) - Un classique pour tous ceux qui veulent comprendre les racines du deep learning à l'époque du «connexionnisme».
Deep Learning pratique pour les codeurs (cours en ligne) - Recommandé par des amis d'autres spécialités techniques (comme la physique et les mathématiques) comme une excellente introduction à l'apprentissage profond.
Cours de PNL avec apprentissage profond de Stanford (cours en ligne) - Utile pour tous ceux qui souhaitent commencer à apprendre le traitement du langage naturel.
Apprentissage par renforcement de Sutton et Barto (manuel) - Il s'agit du manuel de tous les manuels d'apprentissage renforcé. Il est aligné de choses très basiques à des sujets avancés. Accompagne des conférences de David Silver.
Apprentissage par renforcement
Alberta RL 4-course Specialization (cours en ligne) - Quatre cours d'apprentissage par renforcement séquentiel allant des bandits à l'approximation des fonctions (NN), à la méthode du gradient et à la récompense moyenne.
CS330: Metalearning et multitâche (vidéo) - Fournit un aperçu des travaux récents en méta-apprentissage et multitâche. Une vidéo inspirante et très utile pour suivre les idées modernes dans le domaine.
David Silver, Introduction à l'apprentissage par renforcement (vidéo) - Idéal pour prendre des idées dans le manuel de Sutton & Barto: Pourquoi devrions-nous réfléchir à ces questions? Quel est le lien entre les idées dont nous avons discuté? etc.
Cours RL de David Silver de l'UCL(vidéo) - Utile pour tous ceux qui souhaitent en savoir plus sur l'apprentissage par renforcement.
Emma Brunskill RL Course (vidéo) - Conférences vidéo de formation au renforcement par Emma Brunskill à Stanford.
Blog OpenAI (blog) - Présentations abordables d'algorithmes d'apprentissage de renforcement de base et avancés.
Apprentissage par renforcement: une introduction (édition 2018) (livre) - Il s'agit du même livre d'introduction sur l'apprentissage par renforcement. Rich explique parfaitement les concepts fondamentaux de l'apprentissage par renforcement, et marche également avec le lecteur jusqu'à des tâches de recherche ouvertes avancées.
Spécilisation UofA / Amii Coursera RL par White and White(cours en ligne) - Projet de l'Université de l'Alberta - Centre for the Study of Reinforcement Learning. Adam White est associé à Deep Mind; Une série de cours holistique et bien conçue qui fournit les bases les plus importantes de l'apprentissage renforcé.
Spinning Up in Deep RL (code) - Une ressource éducative créée par OpenAI qui facilite l'apprentissage en profondeur.
Apprentissage non supervisé et modèles génératifs
Cours de modélisation graphique d'Ermon à Stanford (synopsis) - Couvre une grande variété de méthodes probabilistes.
Comment utiliser efficacement t-SNE (didacticiel interactif) - Il s'agit d'un voyage interactif et approfondi vers tous les pièges de l'utilisation de tSNE, qui est devenu l'une des pièces jointes de données de faible dimension les plus utilisées.
Vidéos Youtube de Mathematicalmonk (vidéo) - Explication impressionnante utilisant des exemples d'algorithmes utiles comme EM. Un excellent ajout au livre de Bishop.
Monte Carlo Gradient Estimation in Machine Learning (publication) - Utile pour ceux qui font un apprentissage par renforcement ou une modélisation générative.
Reproduction des espaces Hilbert du noyau dans l'apprentissage automatique(matériel de cours) - Convient à ceux qui s'intéressent à la modélisation générative et pas seulement.
L'inférence variationnelle: un aperçu pour les statisticiens par David Blei (post) - La meilleure explication des méthodes variationnelles dans le contexte de la modélisation générative.
Autre
Méta- formation Chelsea Multi-Task and Meta-Learning Course (vidéo) - Conférences vidéo sur le multitâche et la méta-formation.
La philosophie
Goodman (1955). La nouvelle énigme de l'induction. (chapitre du livre) Prémisses philosophiques du biais inductif et pourquoi il est difficile de tirer des conclusions et une introduction. Podcast AI de
Science
Lex Fridman (vidéo) - Conversations avec des conférenciers divers et impressionnants.
Série de conférences Stanford Physics par Leonard Susskind (vidéo) - Une excellente ressource pour explorer de nombreux domaines importants de la physique moderne, y compris la mécanique classique, statistique et quantique. Ces conférences ne nécessitent pas beaucoup de connaissances de base, Leonard peut présenter et expliquer des idées complexes de manière accessible et engageante.
Informatique
Visualisations interactives de Mike Bostock - Visualisations interactives de Mike Bostock .
Probability in high dimensions - Un livre compréhensible sur «les idées à l'intersection de la théorie des probabilités, de l'analyse et de la géométrie qui se posent dans un large éventail de problèmes modernes dans divers domaines». Cours de
robotique sur la
dynamique non linéaire Strogatz (vidéo) - Cours vidéo sur la dynamique non linéaire.
Merci à Ale Blankmer pour l'aide à la traduction.
Apprenez comment obtenir une profession recherchée à partir de zéro ou augmenter vos compétences et votre salaire en suivant des cours en ligne payés par SkillFactory:
- Cours d'apprentissage automatique (12 semaines)
- Apprendre la science des données à partir de zéro (12 mois)
- (9 )
- «Python -» (9 )