La méthode d'examen des performances 360 est également utilisée dans X5 Retail Group. Aujourd'hui, nous allons vous parler des meilleures pratiques de BigData X5 pour des analyses RH approfondies.
Évidemment, la précision d'une telle méthode, bien qu'elle soit augmentée en faisant la moyenne des opinions différentes, dépend toujours de l'ouverture et de l'enthousiasme avec lesquels les gens remplissent les questionnaires, de leur compréhension de l'échelle, de la force de l'équipe, de l'ambiance dans l'équipe, et bien plus encore.
Un aspect important du fonctionnement d'un tel système est l'interaction avec le remplissage des questionnaires. Si une personne donne à chacun cinq sans réfléchir, elle doit travailler avec elle, expliquer l'importance du processus. En Russie, il y a une certaine attitude envers les notes sur la base d'une échelle de cinq points, selon laquelle un étudiant C est un personnage moyen, un bon est normal, mais un excellent étudiant est quelqu'un qui travaille bien, c'est un éloge. Les perdants restent pour la deuxième année, et effectivement «ils ne sont pas nombreux et je ne les ai jamais vus dans notre entreprise» - c'est ainsi que les managers répondent généralement à propos de leur équipe. «Quelque part», mais pas ici. Donc, si vous pensez que l'employé est bon, vous lui donnez un quatre, car un C ... eh bien, il y a un C, et si vous êtes amis, vous pouvez mettre un cinq - n'hésitez pas. Cela conduit à des évaluations biaisées, à un pourcentage élevé de cinq dans l'enquête,qui dégénère en presque deux points: avec quatre et cinq.
L'enseignement des évaluateurs est un processus lent et triste (enfin, pas toujours triste) qui comprend des explications: comment fonctionne l'instrument; comment évaluer correctement une personne, sans susciter l'admiration après les résultats d'une seule interaction, ou négative après une lettre grossière; à quoi ressemble une échelle de notation, différente de celle utilisée à l'école; un aperçu des erreurs typiques des examinateurs, et ainsi de suite. Il est très important de détendre les gens, de s'éloigner de leur perception du processus comme un autre outil ennuyeux, de se débarrasser de la peur que l'évaluation affecte les résultats financiers d'un collègue. Il est fondamentalement important ici de ne pas prendre de décisions hâtives en matière de personnel et de ne pas ajuster l'état-major de commandement sur de nouvelles voies.
L'énoncé du processus analytique du point de vue de l'employé RH est bien présenté dans le texted'Avito, que je recommande vivement de lire. Les gars ont observé un fort biais vers le bien, le nombre de quatre («au-dessus des attentes») était similaire au nombre de triplets («répond aux attentes»). Nous avons également rencontré des arguments sur le «bien et le mal», bien que nous ayons utilisé une échelle de notre propre conception.
De plus, les voix étaient divisées. Soit c'est une équipe solide et amicale, soit l'une des deux choses. Par conséquent, nous avons rapidement lancé une deuxième revue sur une équipe différente,
et nous nous sommes assurés que parfois, sans travail supplémentaire de clarification de l'échelle et de calibrage des estimations, il soit possible d'obtenir des données à forte variance. Autrement dit, vous devez travailler avec les gens et prendre en compte la propension organique à des évaluations «objectives». Ou peut-être s'agit-il d'un désaccord au sein de l'équipe, ce qui, d'une manière générale, est également utile à connaître.
Le score 360 est généralement utilisé à deux fins: le développement des employés et l'analyse des performances. Il est important de comprendre que le résultat peut différer en fonction du niveau de préparation et d'ouverture de ceux qui fournissent les commentaires. Lorsque nous créons un outil pour renforcer le développement des employés, il est important pour nous de fournir des commentaires anonymes de diverses sources afin de l'aider à comprendre ses forces et ses faiblesses, pomper les compétences, développer les qualités manquantes. L'enquête se concentre sur les compétences ou les comportements étroitement liés à l'exercice des responsabilités professionnelles et aux valeurs de l'organisation. Lorsque nous lançons un tel outil, nous devons faire comprendre aux participants que nous ne sommes pasnous utiliserons les résultats pour les décisions du personnel. Notre histoire portera sur l'utilisation de la méthode d'examen 360 pour développer les employés.
Les données de développement des employés sont nécessaires pour évaluer les forces et les domaines de développement, et non pour prendre des décisions sur les primes / changements de talents. Il est également important pour une entreprise de comprendre comment les valeurs d'une personne sont en corrélation avec celles de l'entreprise. Les résultats 360 sont toujours partagés avec le collaborateur et son manager.
Les scores et les résultats de l'enquête 360 sont un trésor de données qui peuvent être utilisées pour fournir des informations et des analyses. Ces données sont nécessaires pour calculer les facteurs de «correction» qui aideront à obtenir un résultat plus fiable, ainsi que pour regrouper les employés par compétences, aptitudes, compiler un «profil» des équipes individuelles et bien plus encore. Tous ces calculs nécessitent une puissance et des frameworks supplémentaires, que nous avons décidé de déplacer dans un microservice séparé. Ainsi, nous avons logiquement séparé la partie que voit l'utilisateur (du service RH) de la partie "analytique", sur laquelle sont effectués tous les calculs analytiques complémentaires. Cette approche permet de développer ces services de manière indépendante et offre une possibilité de séparation supplémentaire des calculs.Le service d'analyse ne possède pas sa propre base de données, tous les calculs sont effectués sur la base des données qui se trouvent dans la base de données du service principal et interagissent à l'aide de l'API REST.
Le service analytique est un serveur séparé écrit en Flask, et le service principal est implémenté dans NodeJS avec une base de données PostgreSQL. Ce schéma d'interaction sans aucun doute difficile est présenté ci-dessous:
Prenons un exemple d'évaluation d'enquêtes dans d'autres équipes, appelons-les équipe A et équipe B.Imaginez une situation dans laquelle dans l'équipe A les employés sont amicaux, se traitent bien et, en conséquence, le score moyen peut être assez élevé. Contrairement à l'équipe A, supposons que l'équipe B soit composée de personnes plus critiques qui n'accordent honnêtement des scores élevés qu'aux employés qui fonctionnent réellement bien.
Comment comparer deux employés de l'équipe A et de l'équipe B? Pour comparer les employés de différentes équipes, nous utilisons un calibrage spécial «équipe» pour obtenir le score d'un employé par rapport au score moyen de son équipe. Vous ne pouvez pas vous passer d'une formule ici.
Supposons que nous ayons l'employé x avec un score de 0,9 de l'équipe A, dont le score moyen est de 0,85, et il y a l'employé y avec un score de 0,65 de l'équipe B, dont le score moyen est de 0,5. Après soustraction des scores moyens des équipes, on obtient les scores "calibrés" des salariés:
Ainsi, on voit que l'employé y a un score calibré supérieur au score calibré de l'employé x.
Le même exemple s'applique à la normalisation en équipe. Tous les employés sont différents et ont également tendance à évaluer leurs collègues différemment. Disons qu'il y a un employé x qui traite très bien tous ses collègues et donne à chacun une note moyenne de 0,8, et qu'il y a un employé y qui regarde les autres de manière plus critique et évalue en moyenne les autres employés à 0,5. Lorsque les employés x et y évaluent l'employé z, ils peuvent le noter tout aussi bon (ou tout aussi mauvais), mais dans leur propre système de valeurs, donc lors de la moyenne du score moyen au sein de l'équipe, nous soustrayons la moyenne de chaque employé, qui est calculée à partir des données historiques. Supposons que l'employé x a noté l'employé z à 0,9 et l'employé y à 0,7, le score moyen sera égal
Cependant, si nous soustrayons les notes des auteurs historiquement moyennes, nous obtenons
Après cet étalonnage, nous obtenons une métrique qui prend en compte le «système de valeurs» de chaque employé et, par conséquent, est plus «honnête».
L'important est que lors de la définition du profil d'une personne, nous pouvons pondérer les notes des examinateurs avec différents coefficients. Il existe de nombreuses preuves que les gestionnaires ont tendance à être plus précis et impartiaux dans l'évaluation des personnes (en fait, c'est aussi la raison pour laquelle ils se sont retrouvés là où ils étaient), probablement en raison de plus d'expérience.
Les valeurs par défaut des poids sont de 0,25, c'est-à-dire que dans la version actuelle, nous ne donnons la préférence à aucune des catégories de répondants, mais comme il a été dit dans une vieille anecdote, «l'outil est là».
En d'autres termes, après avoir collecté des estimations calibrées par les auteurs, nous essayons de les conduire dans un «système de coordonnées» global afin de pouvoir extraire des informations correctes des données. Sinon, en raison d'évaluations biaisées, on peut découvrir une régularité étonnante qui n'existe vraiment pas, et à quoi bon, on va commencer à faire évoluer l'employé dans le sens opposé à son profil.
Puissions-nous réussir, et nous avons compilé des vecteurs qui représentent le profil de compétences de l'employé. De plus, il existe des vecteurs reçus des collègues, des managers, des subordonnés et de l'estime de soi. Nous rassemblons tout cela dans un cube (pour être précis, un parallélépipède, mais j'utiliserai plus loin le terme cube par analogie avec les cubes OLAP).
Mais maintenant, en disséquant le cube selon différents axes, nous pouvons obtenir diverses dépendances analytiques. Par exemple, fixons la compétence et voyons sa distribution dans l'ensemble de l'organisation ou entre les équipes au sein de l'organisation. Ou prenez la colonne la plus à droite des notes des gestionnaires et examinez en interne la variance des notes pour voir s'il y a des résultats surprenants.
En développant cette logique, il est possible d'obtenir des schémas de comparaison d'employés, à la fois au sein d'une équipe et appartenant à différents services, ce qu'on appelle la toile d'araignée; ou, sur le même diagramme, vous pouvez donner les valeurs moyennes des compétences dans une équipe et comprendre pour une personne spécifique où il est assommé par rapport à l'équipe et dans quelle direction; vous pouvez prendre une autre équipe au lieu de celle dans laquelle se trouve l'employé et comparer ses compétences moyennes avec les compétences d'une personne. Pourquoi, si vous balancez, vous pouvez comparer l'équipe par rapport à une autre équipe, c'est ce qu'un jeu amusant peut sortir.
Des grappes de certains types au sein d'une organisation peuvent également être analysées pour trouver des personnes qui peuvent être des communicateurs efficaces ou des experts connus pour leur approche approfondie de la résolution de problèmes.
Des découvertes analytiquement plus simples sont également possibles, bien que non moins intéressantes. En particulier, un écart élevé dans les notes de l'un des employés lors d'un sondage entre collègues peut indiquer une perception polarisée de ses collègues.
Et si l'écart est élevé lors de la comparaison des notes des collègues et du manager? Les collègues et un manager évaluent-ils un employé très différemment? Peut-être ici vous pouvez vous demander quel genre de leader il est, et s'il est trop strict avec les membres de son équipe (enfin, ou vice versa, non critique). Ou tirer une conclusion sur la superobjectivité fondamentale des managers dans l'organisation, si un schéma similaire se répète pour d'autres équipes.
Un nombre élevé d'évaluations manquantes pour l'un des employés est susceptible d'indiquer que la personne a peu d'interaction avec ses collègues. En même temps, pour certaines équipes en X5, c'est tout un modus operandi, et il n'y a rien de surprenant ici, mais il est évident que pour certaines équipes, cela servira d'indicateur de la nécessité de changements dans le processus de travail.
À l'avenir, nous souhaitons former des questions plus subtiles sous forme de recherche afin d'éliminer les biais dans les notes à ce stade, en évitant le travail manuel avec les utilisateurs de services et des explications sans fin sur la façon de choisir les bonnes notes et leur signification. Nous avons plusieurs idées, elles sont en cours de vérification et nous partagerons certainement les résultats avec vous. Nous souhaitons également appliquer des techniques plus astucieuses au cube de données, en plus des coupes le long des axes et du clustering. Ici, nous essayons divers auto-encodeurs, linéaires et non linéaires, à la recherche de liens croisés entre les vues le long de différents axes de coordonnées. En général, il y a beaucoup de travail, les données sont désobéissantes et la mise en place du système n'est pas facile :)
Auteurs:
Evgeny Makarov
Valery Babushkin
Svyatoslav Oreshin
Daniil Pavlyuchenko
Evgeny Molodkin