Certification. Vaut-il la peine d'utiliser des décharges et qu'est-ce que les chaînes de Markov ont à voir avec cela?

Il y a plus de 20 ans, je me suis intéressé aux télécoms. J'ai commencé par lire des livres, dont le cours CCNA. Ensuite, c'était un petit livre plutôt mince avec FDDI, Token Ring, ISDN et des choses similaires dont la nouvelle génération de réseauteurs n'a entendu que parler. Et puis j'ai lu pour la première fois sur la certification CCIE. J'ai eu l'impression que les détenteurs de ce statut sont de véritables dieux de l'informatique. Bien sûr, je voulais réaliser ce samadhi net.



Beaucoup de temps s'est écoulé depuis. J'ai reçu CCNA puis CCNP, j'ai expiré avec succès tous ces certificats pour inutilité, et après 10 ans je suis devenu CCIE. Je fais toujours du réseautage, et je dois dire que j'ai l'air d'aimer mon travail, mais bien sûr, le romantisme est passé. Il y a vingt ans, l'attitude à l'égard de tout cela était très différente. C'était une voiture, c'était une vraie aventure.



Maintenant, il n'y a pas un tel intérêt, et l'attitude envers la certification des différents ingénieurs est également différente, et je suis moi-même ambivalent à ce sujet. Je me rends bien compte que c'est une sorte de jeu, souvent pas tout à fait équitable, et si vous ne connaissez pas les règles, alors, même avec d'excellentes connaissances et compétences, vous avez une assez grande chance de perdre. Dans cet article, nous utiliserons des mathématiques simples pour considérer ces règles, ce qui vous permettra de créer votre propre stratégie en tant que stratégie honnête et en même temps gagnante.



Une approche honnête



Essayons de comprendre quelle approche pour évaluer nos connaissances serait la plus honnête?



  • Comme première condition, je citerais une définition claire de l'éventail des questions théoriques et des compétences pratiques qui peuvent être testées par des tests.
  • , , . , // , . , .
  • , — , , , , .


Supposons que les deux premières conditions soient remplies. Examinons la dépendance de «l'équité» de notre examen sur la troisième composante.



Pour être précis, nous parlerons spécifiquement des tests avec un résultat binaire: réussi (obtenir un certificat) / n'a pas réussi (pas de certificat). Ensuite, nous pouvons présenter les résultats de l'examen dans l'une des versions les plus simples sous la forme du diagramme suivant:







Flèches pOnze ,p12 ,ptreize désignent les probabilités de transition d'un état à un autre. Alors,pOnze indique la probabilité que vous tentiez à nouveau de réussir l'examen après une tentative infructueuse. S'il n'y a pas de transition entre les états, cela signifie que la probabilité de transition est de 0.



Par exemple, les probabilités peuvent être réparties comme suit







L’essence de ce type de test est que les candidats au test ne disposent d’aucune information privilégiée ou que l’initié n’améliore pas les chances de réussir le test. Bien sûr, les exigences en matière de compétences pratiques ainsi que pour le volume et la profondeur des connaissances théoriques sont connues, mais il n'y a pas d'informations utiles sur la technique de réussite de l'examen.



Et c'est précisément cette situation qui, à mon avis, est parfaitement honnête. Dans ce cas, vos connaissances sont testées, pas la façon dont vous avez appris à réussir l'examen.



1



, . . , , , , . , , , , , . , , , , .


Exemple 2



Comme autre exemple, considérons les entretiens techniques pour l'embauche d'employés. Si votre entreprise est petite, que vous avez correctement rédigé une mission et que vous n'interrogez qu'un petit nombre de personnes, vous pouvez en principe rédiger un nombre suffisant de questions de mission afin qu'elles ne se chevauchent pas ou ne construisent pas votre conversation de manière interactive, en fonction de l'expérience des candidats.


Mais si nous parlons de certificats populaires, cette approche ne fonctionne pas. Il y a plusieurs raisons à cela, par exemple, je vais en donner deux:



  • une telle approche individuelle est trop coûteuse
  • besoin de normalisation


Approche équitable



Habituellement, nous sommes confrontés à une situation où nous devons nous préparer spécifiquement à l'examen. Je ne parle pas de matériel théorique et non des compétences que nous devons posséder et qui sont certainement importantes et utiles dans nos activités quotidiennes de travail. Je parle du fait que nous devons développer des compétences spécifiquement pour ce type d'examen (je suppose toujours qu'il n'y a pas de décharges), et si vous ne formez pas cette compétence spécifique, la probabilité de réussite est considérablement réduite.







, CISSP . , , , , ( ), . ( , ). , , , , . , (, , , ...).


Vous pouvez pratiquer cette compétence à l'avance ou en passant l'examen plusieurs fois.



Cette approche peut encore être considérée comme assez juste, car tout le monde est à peu près sur un pied d'égalité ici, c'est pourquoi j'ai appelé ce type d'examen «l'approche équitable».



Quel sera le graphe de transition dans ce cas?







Nous avons les états suivants:



  1. Pas d'expérience. Vous avez décidé de passer l'examen «absolument honnêtement», c'est-à-dire sans avoir spécialement appris la technique de réussite de l'examen. Vous connaissez la théorie et avez les compétences pratiques nécessaires. Il vous semble que cela devrait suffire pour obtenir une note décente.
  2. N'a pas passé. Expérience. Il s'agit d'un état dans lequel vous avez des connaissances et des compétences supplémentaires concernant la procédure d'examen. Cette connaissance a été obtenue soit à la suite d'une tentative infructueuse, soit à la suite d'une préparation délibérée. Permettez-moi de vous rappeler une fois de plus que dans ce cas, nous ne parlons pas de décharges.
  3. Je l'ai passé.
  4. J'ai abandonné.


Flèches p12 ,ptreize ,pQuatorze , ... désignent les probabilités de transition d'un état à un autre. S'il n'y a pas de transition entre les états, cela signifie que la probabilité de transition est de 0.



Et maintenant posons-nous la question: dans quelle mesure la probabilité de votre abandon diminuera-t-elle si vous vous attendez à une «approche honnête», et comptez simplement sur votre expérience et vos connaissances et ne vous préparerez pas spécifiquement à technique pour réussir cet examen (c'est-à-dire que nous sommes intéressés parptreize )? Bien entendu, si la difficulté de l'examen est la même que dans le cas d'une «approche équitable», alors vos chances seront les mêmes. Mais il me semble raisonnable de faire une hypothèse importante qui change radicalement la situation.



Supposons que le fournisseur essaie de maintenir une certaine difficulté du test, et le fait en maintenant le taux de réussite en dessous d'un certain niveau. Supposons que le niveau de difficulté des questions soit choisi de manière à ce que le pourcentage de réussite ne soit pas supérieur à 50%.



Par souci de précision, posons les conditions suivantes:



  • Le fournisseur maintient la complexité de la tâche à un niveau tel qu'en moyenne, pas plus de 50% des candidats termineraient la tâche avec succès. Nous effectuerons des calculs à cette frontière.
  • , 5% (): pQuatorze=p24=0,05
  • . , 2 30% , 1: p23=p12+(1-p12)0,3
  • , . .
  • Nous supposerons également que 50% se présentent à leur premier examen sans aucune connaissance de l'examen (c'est-à-dire à partir de l'état 1) et 50% se préparent spécialement à la technique de réussite de l'examen (à partir de l'état 2). Dans le même temps, nous pensons que leurs connaissances et compétences réelles et utiles sont à peu près les mêmes.


Quel pourcentage de livraison réussie proviendra de l'état 1?



Désormais, la probabilité de remise ne sera plus que de 36% contre 50% dans le cas d'une approche «honnête».

La probabilité de se rendre de l'état 2 est de 55%.



Le graphique complet ressemblera à ceci:







Vous pouvez trouver la preuve ici
:







, : p41=p31=p42=p32=0,cinq. .. 3 4, 1 2 , . , : (/) . 0,5 :



« , 50% ( 1) 50% ( 2)».







UNE=(000,500,500,590,400,500,500,360,55000,050,0500)





:



p=(p1p2p3p4)





p1,p2,p3,p4 — 1,2,3,4

p1+p2+p3+p4=1





, : n , , 2. , ( ) .



, :

UNEp=p





, 1.



, , matrixcalc.org



λ=1 :

p=p4(40073106073727731)



p4

p1+p2+p3+p4=1





1 2. , :



  • 1: 4001060+4000,27
  • 2: 10601060+4000,73


27% ( 1) 73% ( 2). :

0,270,36+0,730,55=0,50

.



, .



Autrement dit, si vous essayez de réussir l'examen «honnêtement», ce qui, dans le contexte de cet article, signifie que vous vous appuyez sur vos connaissances théoriques et vos compétences pratiques dans le cadre de cet examen, mais sans préparation spécifique pour la procédure d'examen proprement dite, sans essayer d'adapter votre façon de penser à la logique des auteurs du test, sans quelques informations privilégiées, la probabilité que vous réussissiez cet examen est réduite d'une fois et demie. Pour réussir de cette manière, votre niveau de connaissances doit être bien au-dessus de la moyenne et en fait bien au-dessus du niveau requis pour cet examen.



Il est clair qu'avec cette approche, la proportion de personnes essayant de réussir «honnêtement» diminuera, l'examen commence à devenir plus difficile (pour conserver la condition de 50%), ce qui conduit au fait que la probabilité de passer de l'état 1 diminue de moins en moins.



Pourtant, je pense que cette approche est juste. Il n'y a pas de concurrence déloyale ici. Vous devez juste comprendre que vous devez vous préparer spécifiquement pour l'examen. Sans cela, même avec d'excellentes connaissances, la probabilité de réussir le test est faible (mais il y en a).



Maintenant, disons qu'il y a des décharges. Comment l'image changera-t-elle?



Dumps. Concurrence déloyale



Maintenant, notre schéma a changé:







Un autre état de "Dumpa" est apparu. Cela signifie que le candidat peut utiliser les vidages d'examen, ce qui lui donnera 100% de chances de réussir. Maintenant, définissons des conditions spécifiques.



  • - , , 50% ( ).
  • , , 30%.
  • 4. (pQuatorze ) 10%, p24 , 5%. , , 1 ( ), , .
  • Supposons qu'au départ, seuls 20% des candidats utilisent une décharge. La distribution entre les états 1 et 2 à la première tentative sera considérée comme égale (40% chacun).
  • Nous supposerons que si la première tentative (à partir de l'état 1 ou 2) a échoué et que le demandeur a néanmoins décidé de continuer, alors exactement la moitié d'entre eux utilisera le vidage: p12=pquinze etp25=p22


Voyons comment l'image change. Voici la solution:





Vous pouvez trouver la preuve ici








, : p41=p31=p42=p32=0,4 p45=p35=0,2. , . «» :



«, 20% . 1 2 ( 40%).»





UNE=(000,400,4000,430,310,400,4000,050,340010,Dix0,050000,420,trente0,200,200)



, :

UNEp=p





, , , www.wolframalpha.com



λ=1 :

ppcinq(0,6491,3441,4890,1321)



pcinq

p1+p2+p+3+p4+pcinq=1



, , .



1,2,5:



  • 1: 0,6490,649+1,344+10,22
  • 2: 1,3440,649+1,344+10,45
  • 5: 10,649+1,344+10,33


, :

0,220,05+0,450,34+0,33=0,4940,cinq





.



Nous voyons que la probabilité de réussir l'examen à partir de l'état 1 n'est que de 5%, ce qui signifie que vous n'avez presque aucune chance. Il semblerait que pour l'état 2, tout ne soit pas si mal - 34%, mais, en réalité, pour les petites valeursptreize tel calculp23 pas entièrement correct. Le fait est que notre condition «l'expérience réduit de 30% la probabilité d'échouer à l'examen» limite artificiellement la probabilité dep23 trente pour cent (il ne peut pas être inférieur), ce qui, bien sûr, n'est pas tout à fait correct.La



seule conclusion qui peut être tirée pour l'instant est que dans nos conditions, nous pouvons oublier la possibilité de renoncer à l'état 1 (pas d'expérience). Très vite, la communauté pour laquelle cet examen présente un intérêt s'en rend compte, et le nombre d '«idéalistes» essayant de réussir l'examen sans préparation adéquate devient négligeable. Ensuite, nous obtenons un autre diagramme:







Dans les mêmes conditions que dans l'exemple précédent, on obtient la solution suivante:







Dans ce cas, la répartition à l'examen sera la suivante:



État 1 (expérience):66 %

État 2 (vidage):34 %



Je pense que la méthode de preuve est évidente d'après les deux exemples précédents, donc je l'oublie.



Cela signifie que lorsque des décharges apparaissent (et dans les conditions que nous avons imposées), nous obtiendrons une baisse de la probabilité de réussite pour les personnes qui se sont spécialement préparées à l'examen ou qui ont eu une expérience de réussite infructueuse et en même temps n'utilisent pas de décharges de 55% à 25%, c'est-à-dire plus de 2 fois.



Souvenons-nous maintenant des conditions.

Lors de la première tentative, seuls 20% d'entre nous ont décidé d'utiliser immédiatement la décharge. Après une tentative infructueuse, seule la moitié décide d'utiliser le vidage. Et cette condition plutôt bénigne a conduit au fait qu'il devient très difficile pour les candidats se préparant à un examen sans vidage de passer l'examen. En moyenne, ils devront passer cet examen 4 fois. Les coûts de préparation (temps) et de livraison deviennent assez élevés. Dans ce cas, vous pouvez transmettre le dump. Cela nécessitera beaucoup moins de temps de préparation et donnera presque 100% de chances de réussir.



Jetons donc un coup d'œil aux avantages et aux inconvénients du demandeur dans les deux cas.



Qu'est-ce que ceux qui essaient de prendre sans décharges ont?



  • (-) temps consacré à la préparation (argent)
  • (-) argent dépensé pour des tentatives infructueuses
  • (-) en cas d'échec, la direction et les collègues commencent à douter de leur compétence
  • (+) bon niveau de connaissance


Ceux qui passent avec des décharges



  • (-) coût de la décharge (facultatif: la décharge peut être librement disponible)
  • (-) peut-être un niveau de connaissances insuffisant (optionnel: personne ne vous dérange pour bien vous y préparer)
  • (-) les coûts moraux et éthiques associés à la concurrence déloyale (optionnels et très individuels)
  • (+) ressources minimales dépensées
  • (+) respect des collègues et de la direction (vous n'avez pas à dire que vous avez utilisé la décharge)


En principe, théoriquement, tout cela peut être exprimé en prix et simplement comparer les prix du changement équitable et du changement avec un dépotoir. Dans le même temps, ce qui est marqué d'un moins (-) ajoute de la valeur et ce qui est positif, au contraire, diminue. Il est clair que certains des éléments de la liste sont très individuels (par exemple, les coûts moraux et éthiques), et par conséquent, le prix du dumping et le prix d'une livraison honnête varieront considérablement selon les personnes.



Lorsque le prix d'un dépotoir devient inférieur au prix d'un changement équitable, une personne commence à utiliser des décharges.



État de saturation



Avec un faible coût de vidage, cela conduit à une réaction en chaîne: plus les gens utilisent des vidages, plus l'examen devient difficile et moins il a de chances de passer sans vidage, ce qui oblige de plus en plus de gens à recourir à une concurrence déloyale, et finalement cela conduit à une situation de saturation où au premier essai, le nombre de candidats utilisant les décharges dépasse déjà le pourcentage de réussite donné (50% dans nos exemples).



En conséquence, le fournisseur est obligé de prendre des mesures. L'étape la plus simple consiste à augmenter le taux de rafraîchissement de l'élément de test. À ces moments, les décharges deviennent inutiles et, de ce fait, la probabilité de livraison avec une décharge peut être réduite.



Exemple



Supposons que l'examen change tous les 3 mois, il faut 2 semaines pour qu'un nouveau dump actuel apparaisse, puis la probabilité de réussir avec un dump passe de 100% à85 %. Mais cela peut ne pas suffire, donc l'examen devient de plus en plus compliqué, différentes options apparaissent, cela est fait de telle manière que même avec une décharge, une formation intensive est nécessaire.


De cette façon,



  • l'examen devient incroyablement difficile
  • les chances de passer sans vidage sont rares
  • même pour passer avec des décharges, il faut se préparer sérieusement, en fait s'entraîner
  • les examens et les sujets changent fréquemment et de manière inattendue. À ces moments-là, ceux qui se sont préparés sur la base de décharges commencent à souffrir d'un fiasco, et ceux qui tentent de réussir l'examen obtiennent honnêtement un avantage.


Autrement dit, avec cette approche, il y a encore une chance de se rendre pour ceux qui se préparent sans décharges, mais le niveau de vos connaissances doit être très, très bon, vous devriez passer beaucoup de temps. En fait, ça se transforme en sport, il faut vraiment s'entraîner pour réussir cet examen. Et cette formation est largement redondante.



Exemple



Un tel examen, à mon avis, était jusqu'à récemment CCIE R&S. Il existe d'excellents cours de préparation au CCIE comme ine.com . Mais, même après avoir traversé toute la préparation (qui vous prendra environ six mois, entièrement consacrée à cela), il est encore assez difficile de réussir l'examen. Et parallèlement à cela, il y a au moins quelques années, vous pouviez facilement trouver des décharges gratuites sur Internet, à la fois des examens écrits et des travaux de laboratoire.



Conséquences



En fait, les conséquences des décharges à faible coût (dans le sens discuté ci-dessus) sont plutôt tristes. D'une part, nous avons des tests et des laboratoires sophistiqués qui sont vraiment difficiles à réussir. En revanche, le certificat obtenu ne garantit pas un niveau de connaissance approprié.



Vous serez surpris des questions auxquelles les heureux propriétaires de certificats CCIE ne répondent pas. Il n'est pas rare que des experts ne soient pas du tout préparés à un entretien «honnête». Et ce n'est pas qu'ils savaient autrefois mais qu'ils ont oublié. Le fait est qu'ils ne l'ont jamais su. Pourquoi enseigner, perdre du temps, de l'argent, prendre des risques alors que vous pouvez simplement mémoriser les réponses aux questions.



Bien entendu, cela conduit à une baisse de la crédibilité des certifications d'experts. Non seulement et pas tellement les fournisseurs en souffrent, mais les ingénieurs qui ont reçu ces insignes honnêtement. Il y a un nivellement de l'avantage concurrentiel que le statut acquis par la sueur et le sang a donné.



Je pense que beaucoup d'entre vous ont vu l'image suivante: un ingénieur fort avec une bonne expérience pratique, ayant étudié attentivement la littérature recommandée, va passer l'examen et échoue. Il est découragé. Les questions ne semblent pas pertinentes (et c'est souvent le cas), les textes sont trop volumineux et déroutants, souvent le demandeur ne rentre tout simplement pas dans le temps. Dans le même temps, son collègue, avec beaucoup moins d'expérience et de connaissances, réussit ce test à presque 100%. C'est un résultat typique de la concurrence déloyale.



Dumps et fournisseurs



Pourquoi les fournisseurs ne protègent-ils pas la crédibilité de leurs certificats? Est-ce impossible ou très cher?



Je suis sûr que cela est possible, et nous pouvons le voir dans l'exemple CISSP.



Pour ce faire, vous devez augmenter le coût de la décharge. Et cela peut être fait des manières suivantes:



  • faire un échantillon aléatoire de questions à partir d'une liste beaucoup plus grande, par exemple, 10000 questions
  • la connaissance que le candidat acquiert grâce à une préparation honnête doit lui être vraiment précieuse (ce qui réduit le coût global d'une approche honnête / équitable)
  • la composante morale et éthique du prix de dumping devrait être élevée. Il doit y avoir une condamnation sans équivoque de l'utilisation des décharges dans la communauté
  • il est également généralement facile de trouver et d'interdire les ressources distribuant des vidages


Selon notre modèle, cela devrait remettre les tests sur la bonne voie avec une approche équitable, avec une complexité et une profondeur de test adéquates.



Malheureusement, d'après mon expérience, je vois que les vendeurs se limitent souvent à ce qui est absolument gratuit pour eux, à savoir, ils vous disent que vous ne pouvez pas utiliser de vidages. Fondamentalement, ce n'est pas efficace. Si vous vous préparez à un examen, alors, bien sûr, vous recherchez sur Internet des questions de formation et, franchement, vous ne savez pas si certaines des questions coïncideront ou non avec les questions d'examen.



Je voudrais également noter que les décharges ne sont pas toujours quelque chose d'illégal, il y a souvent des cours assez officiels dans lesquels on vous donne le même dump, ou les points difficiles de l'examen sont expliqués, mais, en tout cas, c'est un initié qui n'a pas grand-chose à voir avec le réel augmenter le niveau de connaissance et, à mon avis, c'est aussi une concurrence déloyale. Si le vendeur veut vraiment vérifier et confirmer les connaissances des candidats, cela devrait être interdit.



Il existe un autre bon moyen d'augmenter la qualité de votre certificat: vous pouvez simplement ajouter une entrevue.



Je suis sûr que les vendeurs sont bien conscients de la situation. Par exemple, il est facile de le voir par la forte baisse du pourcentage de réussite au test ou au travail de laboratoire, ou, par exemple, par le nombre de personnes ayant réussi un examen écrit difficile avec des résultats proches de 100%. Le fait qu'ils ne font rien à ce sujet suggère qu'ils sont plutôt satisfaits de cette situation.



Conclusion



Dans cet article, nous avons examiné plusieurs modèles, que j'ai nommés



  • approche honnête
  • approche équitable
  • concurrence déloyale, décharges


Vous devez comprendre que ce ne sont que des modèles. Par exemple, nous pensions qu'il y avait une certaine exigence de complexité, qui en réalité peut ne pas l'être ou pas tout à fait. Néanmoins, mon expérience personnelle de la réussite des examens, l'expérience de la réussite et de la réalisation d'entretiens et de la communication avec d'autres ingénieurs suggèrent que, au moins pour certaines certifications, les conclusions de cet article sont proches de la réalité.



Chacune de ces approches impose des exigences de formation spécifiques. Une approche honnête ne nécessite qu'une bonne connaissance de la théorie et de bonnes compétences pratiques. Une approche équitable nécessite également une préparation spécifique à l'examen.



Le cas de la concurrence déloyale est un peu plus compliqué, il comporte, par exemple, une composante morale et éthique, qui n'est pas facile à évaluer. Mais nous pouvons encore tirer quelques conclusions:



  • «» ( , , , )
  • , , , , , ,
  • . , . , , , . ,


Il semblerait, pourquoi jouer à ces jeux? Il est clair que tout le monde n'en a pas besoin, mais plusieurs facteurs sont importants:



  • parfois des certificats sont nécessaires pour gérer une entreprise (par exemple, si vous travaillez pour un intégrateur)
  • le certificat augmente en fait nos chances de trouver un bon emploi
  • la certification est un excellent moyen de vous forcer à apprendre quelque chose


Pour moi, le dernier point a toujours été le plus important, et les certificats sont des bonus agréables et parfois utiles!



All Articles