Que sont les ensembles modèles ?
Comme son nom l'indique, un ensemble n'est que quelques algorithmes d'apprentissage automatique mis en place. Cette approche est souvent utilisée afin d'améliorer les "qualités positives" des algorithmes individuels, qui en eux-mêmes peuvent mal fonctionner, mais dans un groupe - un ensemble, donnent un bon résultat. Lors de l'utilisation de méthodes d'ensemble, les algorithmes apprennent simultanément et peuvent corriger les erreurs des uns et des autres. Des exemples typiques de méthodes visant à unir les élèves « faibles » dans un groupe de forts sont (Fig. 1) :
Jalonnement . Des modèles individuels différents peuvent être envisagés. Il existe un méta-modèle, qui prend des modèles de base en entrée, et la prévision finale est la sortie.
Ensachage. Des modèles homogènes sont considérés, qui sont entraînés indépendamment et en parallèle, puis leurs résultats sont simplement moyennés. Un représentant frappant de cette méthode est la forêt aléatoire.
Booster. Nous considérons des modèles homogènes qui sont entraînés séquentiellement, et le modèle suivant doit corriger les erreurs du précédent. Bien sûr, l'amplification de gradient vient à l'esprit comme exemple ici.
Ces trois méthodes seront discutées plus en détail ci-dessous.
Jalonnement
. . sklearn.ensemble python AdaBoost, Bagging, GradientBoosting, Stacking ( ).
: . , (SVM), k- (KNN) . . ( ), - .
(. 2):
k ( , -).
, k- , , k-1 . .
.
.
2
:
, .
, , . , , , .
, , , . , , . n , n - . , ~ 0.632*n . , m m .
. , .
, , (. 3). ai .
(. 4):
() , , - . , , . , , . , , (. 5). .
:
, , . , - , , . : - .
, . , , .
: AdaBoost. - , (. 6).
. :
, .
,
, ,
- AdaBoost, , , . , , .
:
Ainsi, nous avons vu que pour améliorer la qualité de fonctionnement des modèles individuels d'apprentissage automatique, il existe un certain nombre de techniques pour les combiner en ensembles. Ces techniques sont déjà intégrées dans les produits logiciels et vous pouvez les utiliser pour améliorer votre solution. Cependant, de mon point de vue, lors de la résolution d'un problème, vous ne devriez pas vous en occuper immédiatement. Il est préférable d'essayer d'abord un modèle simple et distinct, de comprendre comment il fonctionne sur des données spécifiques, puis d'utiliser des ensembles.