PSI et CSI sont les meilleures mesures pour surveiller les performances des modèles

Nous vous présentons la traduction d'un article publié dans le blog versdatascience.com.

Son auteur, Juhi Ramzai , a parlé des méthodes efficaces de vérification des modèles - PSI (Population Stability Index) et CSI (Characteristic Stability Index).



Image fournie par l'auteur



Après la mise en production d'un modèle, un contrôle régulier de ses performances doit être effectué pour s'assurer que le modèle est toujours à jour et fiable. Plus tôt, j'ai écrit un article sur la validation du modèle et le suivi de ses performances , dans lequel j'ai souligné l'importance de ces deux étapes.



Passons maintenant au sujet principal de cet article. Nous apprendrons tout sur le PSI (Population Stability Index) et le CSI (Stability Characteristics Index), qui font partie des stratégies de surveillance les plus importantes utilisées dans de nombreux domaines, en particulier dans le domaine de l'évaluation du risque de crédit.



Ces deux mesures (PSI et CSI) se concentrent sur les changements dans la DISTRIBUTION DE LA POPULATION.



L'idée de base derrière ces métriques est que le modèle de prévision fonctionne mieux si les données utilisées pour l'entraîner ne diffèrent pas trop des données de validation / OOT (hors du temps) en termes de conditions économiques, d'hypothèses sous-jacentes, de style de campagne, d'orientation et etc.



Par exemple, nous avons développé un modèle pour prédire le taux de désabonnement des utilisateurs de cartes de crédit dans un environnement économique normal. Ensuite, nous avons commencé à tester ce modèle, mais déjà dans les conditions de la crise économique. Il est possible que dans ce cas, le modèle ne produise pas de prévisions précises, car il ne sera pas en mesure de saisir le fait que la répartition de la population pourrait avoir changé de manière significative dans différents segments de revenu (et cela pourrait conduire à un niveau réel élevé de désabonnement d'utilisateurs). En conséquence, nous obtenons des prédictions erronées. Mais puisque nous le comprenons déjà maintenant, nous pouvons procéder à la vérification des changements dans la distribution de la population entre le temps de développement (temps DEV) et le temps présent. Cela nous donnera une idée claire de la question de savoir si les résultats prévus par le modèle peuvent être invoqués ou non.C'est exactement ce que montrent les métriques de surveillance PSI et CSI importantes.



Indice de stabilité de la population (PSI)



Cette métrique mesure combien une variable a changé dans la distribution entre deux échantillons au fil du temps. Il est largement utilisé pour surveiller les changements dans les caractéristiques de la population et diagnostiquer les problèmes potentiels de performance du modèle. Si le modèle cesse de faire des prévisions précises en raison de changements importants dans la répartition de la population, il s'agit souvent d'un bon indicateur.



La définition ci-dessus est mieux expliquée dans ce document de recherche . J'ai également fourni un lien vers celui-ci à la fin de cet article.



L'indice de stabilité de la population (PSI) a été développé à l'origine pour surveiller les changements dans la distribution entre les échantillons ad hoc et les échantillons de temps de développement dans l'évaluation du risque de crédit. Actuellement, l'utilisation de l'indice PSI est devenue de nature plus flexible, ce qui permet d'étudier les changements dans les deux distributions associées aux attributs du modèle et aux populations dans leur ensemble, y compris les variables CSI dépendantes et indépendantes . Nous examinerons cela dans la section suivante.



L'ISP reflète la tendance à l'évolution de la population dans son ensemble, tandis que l'ISC se concentre généralement sur les variables individuelles du modèle utilisées.





Source Le



changement dans la répartition de la population peut être lié à:



  • avec les changements de l'environnement économique, tels que la crise économique, COVID-19, etc.
  • changements dans les sources de données;
  • les changements de politique intérieure qui affectent directement ou indirectement la répartition de la population;
  • problèmes d'intégration de données pouvant entraîner des erreurs de données;
  • problèmes de programmation / codage, tels que la mise en œuvre du modèle ou le fait de manquer certaines étapes importantes du code pour évaluer la qualité du modèle.


Puisqu'une modification de la distribution ne doit pas nécessairement être accompagnée d'une modification de la variable dépendante, le PSI peut également être utilisé pour examiner la similitude / la différence entre les échantillons. Par exemple, pour comparer le niveau d'éducation, le revenu et l'état de santé de deux ou plusieurs populations dans des études sociodémographiques.



ÉTAPES DE CALCUL DE L'INDICE PSI ( Lien )



  1. Nous trions la variable estimée par ordre décroissant dans l'échantillon estimé.
  2. 10 20 ().
  3. .
  4. .
  5. 3 4.
  6. ( 3 / 4).
  7. 5 6.


EXCEL PSI:







()



  1. PSI < 0,1 — . .
  2. PSI >= 0,1, 0,2 — .
  3. PSI >= 0,2 — . . / .


Vous pouvez également utiliser la plage de mise en forme conditionnelle - zones rouge, jaune et verte (zone rouge-orange-verte). Le rouge est une condition d'alarme dans laquelle le PSI est supérieur à 20%, le jaune est de 10 à 20%, tandis que le modèle doit être surveillé et le vert est le stade auquel le modèle est considéré comme utilisable, c'est-à-dire < Dix%.



Désormais, en fonction du cas d'utilisation, ces seuils sont ajustés en fonction de la pertinence commerciale, mais l'idée reste la même: suivre les changements dans la population.



Indice de stabilité (CSI)



, . , , .



, .




Lorsque les performances du modèle se détériorent, la vérification des changements dans la distribution des variables du modèle peut aider à identifier les causes possibles. En règle générale, cela se fait après vérification, à la suite de quoi il s'est avéré que l'indice PSI n'est pas dans la zone verte (<0,1 globalement). De cette manière, vous pouvez vérifier quelles variables déterminent principalement la distribution de la population.



Si même une variable a changé de manière significative, ou si les performances de plusieurs variables ont légèrement changé, il est peut-être temps de réentraîner le modèle ou de le remplacer par un autre.



Lors du calcul du CSI, les mêmes étapes sont suivies que lors du calcul du PSI. La seule différence est que la décision est prise en fonction des valeurs d'échantillon de l'étape de conception pour une variable particulière (en les divisant en plages et en définissant les limites de ces valeurs comme des seuils). Ensuite, lors du calcul des valeurs de fréquence pour tout échantillon de validation / non programmé (AD), vous appliquez simplement les mêmes seuils aux données et calculez les valeurs de fréquence (en utilisant la même formule que nous avons utilisée pour calculer le PSI).



EXCEL TABLE OF CSI INDEX Image reproduite





avec l'aimable autorisation de l'auteur



Ainsi, l'ISP peut aider à identifier les différences dans les distributions de la population dans son ensemble, si elles sont significatives, et le CSI peut aider à les réduire encore plus à quelques variables responsables.



Lien de recherche



All Articles