KPI du centre d'opérations de sécurité: comment nous sommes arrivés à notre système de métriques

Je n'écrirai pas ici de longs textes abstrus sur «comment construire correctement un système KPI pour SOC». Et je vais juste vous dire comment nous nous sommes battus et avons recherché notre propre méthodologie et comment nous mesurons maintenant, «à quel point tout est mauvais / bon / sûr / (souligner le nécessaire)».

Comment tout a commencé

Curieusement, nos premiers pas vers la formation de KPI pour Solar JSOC n'étaient en aucun cas liés aux centres de surveillance et de réponse aux cyberattaques. «À l'aube de notre jeunesse», nous avons aidé les entreprises à construire des systèmes d'évaluation de l'efficacité de la sécurité de l'information (ISMS 27001 et c'est tout). La compréhension de leur nécessité est alors apparue sur le marché de manière naturelle: presque tous les services de sécurité de l'information sont obligés, jour après jour, d'analyser de grandes quantités de données provenant de nombreux systèmes différents. Bien sûr, chacun d'eux a une sorte de rapport, mais avec un grand nombre d'entre eux, il est très difficile de se faire une image holistique de l'état de la sécurité de l'information, puis de fournir un rapport à la direction dans un format pratique. Le problème est aggravé si l'organisation est géographiquement dispersée.



Nous avons simplement aidé nos clients à créer non seulement un complexe d'indicateurs de performance clés / indicateurs, mais également une solution analytique complète qui regroupe les données des systèmes de sécurité de l'information. En fait, il s'agit d'un système de visualisation dans lequel vous pouvez voir rapidement et facilement l'essence du problème et sa localisation afin de prendre rapidement les décisions nécessaires. Dans ces projets, nous avons acquis de l'expérience et sommes arrivés à la conclusion que le système est vraiment pratique et utile. Et aussi - que le travail du SOC doit également être évalué.

Pourquoi évaluer l'efficacité d'un SOC, notamment externe?

C'est simple: d'une part, nous voulons comprendre dans quelle mesure nous fournissons le service, et d'autre part, avoir le portrait le plus complet de l'infrastructure du client, voir tous les «points noirs» qui n'étaient pas inclus dans notre audit et sont devenus des facteurs de risque pour le service. En termes simples, nous voulons comprendre: verrons-nous telle ou telle attaque contre le client ou non.



Lorsque nous avons commencé à travailler en tant que fournisseur de services, il est arrivé que le client ait refusé de nous donner des sources spécifiques pour la connexion, qui étaient nécessaires pour une identification à 100% de l'attaque. En conséquence, une telle attaque s'est produite, nous ne l'avons pas vue et avons reçu des reproches, malgré notre avertissement initial.



Autre exemple: nous avons dit que pour identifier correctement et avec précision un incident, vous devez configurer les sources d'une certaine manière, avons donné une liste de ces paramètres, mais le client n'a pas effectué ce travail. Le résultat est le même - un incident manqué.



Nous avons donc compris qu'il est important de mettre en évidence explicitement à la fois le client et nous-mêmes, ce que nous voyons exactement dans son infrastructure, où il y a des «angles morts» pour nous, quels vecteurs d'attaque sont le plus souvent mis en œuvre et dans quels domaines, quel service informatique les actifs sont les plus vulnérables aux attaques et comment cela peut affecter l'entreprise. Pour cela, le système de visualisation doit montrer la situation réelle et aider à son analyse, et pas seulement être un «effet wow» pour le leadership (comme c'est souvent le cas).

KPI pour SOC - quoi et comment mesurer?

Tout d'abord, vous devez comprendre: pourquoi, pourquoi avez-vous besoin de ce système de KPI / métriques? Vous souhaitez mesurer la performance de votre service de sécurité de l'information? Comprenez dans quelle mesure vos processus fonctionnent bien / avec succès (ou vice versa)? Ou peut-être simplement montrer à la direction "qui est génial?" Ou peut-être que les bonus des départements dépendent des performances des KPI? Sans comprendre les objectifs de l'évaluation de l'efficacité, il est impossible de construire un système KPI réel.



Disons que nous avons décidé des objectifs, et maintenant la question la plus intéressante se pose: comment mesurer quelque chose? On ne peut pas aller au SOC avec une règle, tout est un peu plus compliqué ici. Après tout, ce n'est pas seulement SIEM en tant que système de collecte et de corrélation des événements de sécurité de l'information, c'est aussi une grande variété de systèmes qui permettent au service de fonctionner correctement. Il y a une quantité insensée de données à l'intérieur du SOC, donc il y a beaucoup à évaluer.



Et dans ce domaine, nous essayons d'éviter autant que possible les KPI subjectifs, c'est-à-dire ces mesures qui ne peuvent pas être mesurées automatiquement. Par exemple, la métrique "À quel point tout va-t-il avec nous" est difficile à évaluer directement, sans la participation d'une personne (qui donnera sa courbepas toujours l'opinion correcte, basée sur ma propre expérience). Mais si nous divisons cette métrique en plus petites, elles peuvent déjà être calculées sur la base de données provenant de moyens techniques. Ceux. il est nécessaire de définir ce qui est inclus dans le concept de "tout est mauvais" pour nous: nous n'avons pas de système de sécurité de l'information spécifique; l'antivirus n'est pas déployé là où c'est nécessaire; les spécialistes traitent les incidents ou les demandes pendant très longtemps; tous nos hébergeurs ont plus de 10 vulnérabilités critiques et personne ne les corrige, etc. Et maintenant, si toutes ces petites mesures, en tenant compte de leurs coefficients de pondération pour notre entreprise, sont rassemblées dans un seul calcul, alors nous obtiendrons la valeur de la mesure «À quel point nous sommes mauvais». De plus, nous pourrons expliquer sur quoi il se fonde et pourquoi sa certaine signification suggère qu'il est temps de résoudre d'urgence de graves problèmes d'organisation de la sécurité de l'information.Et surtout, nous pouvons toujours aller dans les détails de cette métrique et comprendre quelles tâches sont dans quelle priorité.



Lors de la construction de notre système KPI, nous adhérons aux principes suivants:

• Le KPI doit être vraiment important pour le SOC et le client;
• l'indicateur doit être mesurable, c'est-à-dire des formules de calcul spécifiques doivent être élaborées et des valeurs de seuil fixées;
• nous devrions être en mesure d'influencer la valeur de l'indicateur (c'est-à-dire que les mesures de la catégorie «pourcentage de jours ensoleillés par an» ne nous conviennent pas).

Nous sommes également arrivés à la conclusion que le système KPI ne peut pas être plat et doit avoir au moins trois niveaux:

1. «Stratégique»: ce sont des KPI qui reflètent l'image globale de la réalisation des objectifs fixés;
2. «Enquête, analyse, identification des connexions»: ce sont des KPI, sur la base desquels se forme le premier niveau et qui contribuent à la mise en œuvre de l'objectif principal.
3. « »: KPI, ( – ).

Chacun des indicateurs affecte le supérieur. Comme cette influence n'est pas la même, chacun des indicateurs se voit attribuer un facteur de pondération.



Bien sûr, la première chose que nous voulons voir tout le temps est l'efficacité de notre service pour nos clients. Et, bien sûr, cette information doit être opportune. Pour ce faire, nous avons développé (et continuons à améliorer) un système de métriques reflétant la qualité de travail de chacun des services: 1ère et 2ème lignes, responsables de services, analystes, réponse, administration, etc. Pour chacun de ces domaines, environ 10-15 KPI - ils ont été calculés sur la base d'une base de données des systèmes dans lesquels les gars travaillent (si les demandes sont satisfaites à temps, à quelle vitesse nous répondons à la demande du client, comment les sources sont connectées, et bien plus encore).

Le SLA est bon, mais la vraie qualité de service est plus importante

Il est important pour nous que la couverture du service nous permette d'identifier le nombre maximum d'incidents et d'attaques, et de ne pas être des chatons aveugles. Afin que nous puissions interpréter les incidents chez le client dans le format de ses propres actifs informatiques, et non des IP abstraites. Pour que nos notifications ne se résument pas au fait que "Mimikatz a été trouvé sur l'hôte 10.15.24.9", et n'obligent pas le client à découvrir indépendamment de quel type d'hébergeur il s'agit, perdant ainsi le temps nécessaire pour répondre et éliminer les conséquences.



En d'autres termes, il est important pour nous de comprendre dans quelle mesure nos clients SOC sont protégés. Il est donc nécessaire de déterminer dans quelle mesure nous les «voyons» détaillés et suffisants:

• sont toutes des sources importantes qui nous sont connectées
• l'efficacité avec laquelle le système de sécurité de l'information du client (ce sont les sources de notre service) couvre son infrastructure;
• toutes les sources sont-elles configurées comme nous le recommandons et quels sont les écarts;
• si tous les scénarios nécessaires et suffisants pour détecter les attaques et les incidents ont été lancés dans les locaux du client;
• si toutes les sources connectées nous envoient des événements avec une régularité donnée;
• si le client réagit à toutes nos notifications et dans quelle mesure il le fait.

Et aussi - comme il est effrayant de vivre à l'intérieur de ce client, c'est-à-dire:

• à quelle fréquence il est attaqué, quelle est la gravité de ces attaques (ciblées ou massives), quel est le niveau de l'attaquant;
• quelle est l'efficacité de la protection du client (processus et systèmes de sécurité de l'information) et à quelle fréquence elle est mise à jour;
• quelle est la criticité des actifs impliqués dans les incidents, lesquels des actifs sont le plus souvent utilisés par les attaquants, etc.

Pour calculer tous ces indicateurs de haut niveau, vous devez d'abord les décomposer en plus petits, puis en d'autres encore plus petits - jusqu'à ce que nous atteignions le niveau Zen des petites métriques qui peuvent être calculées sans ambiguïté sur la base de la base de données des sources et de nos systèmes internes.



L'exemple le plus simple: il existe un indicateur de haut niveau «Efficacité des processus de sécurité de l'information», composé de plus petits, tels que «Degré de protection contre les malwares», «Degré de gestion des vulnérabilités», «Degré de protection contre les incidents SI», «Efficacité du contrôle d'accès», etc. ... Comme de nombreux processus de sécurité de l'information sont mis en œuvre dans une organisation, il y aura autant de métriques de deuxième niveau. Mais pour calculer la métrique de deuxième niveau, vous devez collecter des métriques encore plus petites, par exemple, "Le degré de couverture des hôtes de l'organisation par l'antivirus", "Le pourcentage d'incidents critiques avec des logiciels malveillants", "Le nombre d'actifs impliqués", "Le pourcentage de faux positifs", "Le niveau de cyber-alphabétisation des utilisateurs" , "Pourcentage d'hôtes dans une organisation avec une protection antivirus désactivée", "Pourcentage d'hôtes avec des bases de données antivirus obsolètes" - vous pouvez continuer encore et encore.Et ces mesures de troisième niveau peuvent être collectées à partir d'outils de sécurité de l'information et d'autres systèmes en mode automatique, et le calcul peut être effectué dans le système d'analyse de la sécurité de l'information.



Créer des KPI et gérer la performance des SOC reste un défi à la fois pour les développeurs de ces métriques et pour le client (et c'est une danse exclusivement en couple). Mais le jeu en vaut la chandelle: vous pouvez ainsi évaluer de manière complète, centralisée et rapide l'état de la sécurité de l'information, trouver des faiblesses, réagir rapidement aux incidents et maintenir le système de sécurité de l'information à jour.



Si le sujet s'avère intéressant, j'en parlerai plus en détail dans les prochains articles. Donc, si vous voulez en savoir plus sur des aspects spécifiques de la mesure du SOC, écrivez dans les commentaires - je vais essayer de répondre à toutes les questions.



Elena Trescheva, analyste principale chez Solar JSOC