Comment organiser les connexions Ethernet dans les zones industrielles ?
La première option apparemment évidente qui vient à l'esprit est de mettre des commutateurs Ethernet, de les connecter, si possible, avec des optiques, et d'étirer un câble à paire torsadée entre eux et les appareils connectés.
C'est là que se pose la première difficulté et la première différence entre les réseaux industriels et les réseaux de bureau : la plupart des commutateurs sont installés non pas dans des salles de serveurs, mais dans des armoires de montage dispersées dans les ateliers ou sur le territoire de l'installation. Il est coûteux et difficile de tirer deux lignes optiques de chaque enceinte le long de chemins différents, ce qui rend plus difficile l'organisation de la topologie en étoile familière et fiable. Je dois utiliser des bagues. Quiconque s'est immergé dans la construction de réseaux Ethernet se souvient que les anneaux de commutation sont mauvais. Dans le cas de Spanning-Tree, c'est bien le cas. Ce protocole dans une topologie en anneau peut fonctionner jusqu'à 30 secondes, ce qui est souvent inacceptable pour les réseaux servant des processus industriels. Pire encore, le taux de convergence STP diminue à mesure que le nombre de sauts du commutateur racine aux commutateurs les plus externes augmente, et en règle générale,il est recommandé de ne pas dépasser une distance de 7 sauts. Cela signifie qu'il ne devrait pas y avoir plus de 14 commutateurs dans l'anneau.
Que peux-tu y faire? Dans le cas des commutateurs Cisco, la solution la plus simple est d'utiliser le Resilient Ethernet Protocol - REP au lieu de STP et sa modification REP Fast. Ce protocole est spécialement conçu pour les topologies en anneau et assure la convergence du réseau en un maximum de 50 à 100 ms pour tous les types de défauts et des tailles d'anneau jusqu'à 50 commutateurs. De plus, 50 commutateurs dans un anneau n'est pas la limite pour un tel protocole. Le temps de convergence avec la croissance de l'anneau augmentera certainement, mais le même Spanning-Tree sur des anneaux de cette taille ne convergera jamais du tout. REP est pris en charge non seulement dans les commutateurs industriels, mais également dans les commutateurs de bureau, en particulier dans la série Catalyst 9000, qui peuvent servir de commutateurs d'agrégation.
Le protocole est très simple à mettre en place, voici un exemple :
Pour les cas plus complexes, les protocoles PRP et HSR sont disponibles. Ils supposent une duplication complète du trafic le long de deux chemins du réseau. Si l'un des chemins échoue, il n'y a aucune perte de transmission de données. Cependant, le coût de mise en œuvre d'une telle stabilité est plus élevé - le protocole n'est pris en charge que dans les modèles plus anciens et uniquement dans les commutateurs Ethernet industriels (IE3400, IE4000, IE4010, IE5000). Cependant, les exigences de fiabilité et de convergence du réseau industriel sont généralement déterminées de manière rigide par la nature du processus de production que ce réseau desservira. Un temps d'arrêt, même 50 millisecondes, peut parfois coûter plus cher qu'un bon équipement réseau.
Comment assurer la fiabilité opérationnelle requise ?
En règle générale, les exigences de fiabilité et de tolérance aux pannes pour le segment de réseau industriel sont plus élevées que pour le segment de bureau. L'équipement de réseautage industriel est fabriqué et testé pour répondre à ces exigences. Dans le cas des commutateurs Cisco, la conception industrielle signifie :
• le montage dans des armoires compactes sur un rail DIN, alimenté en courant continu ;
• protection des microcircuits et des ports contre les décharges électrostatiques jusqu'à 4000 kV ;
• pas de ventilateurs - refroidissement par convection très efficace malgré la petite taille des unités ;
• Capacité à résister aux surtensions conformément aux exigences des certifications IEC 61000-4-11, IEC 61850 - les commutateurs Cisco continuent de fonctionner en cas de panne de courant pendant une période allant jusqu'à 50 ms, et envoient un message « Dying Signal Gasp" lorsqu'il est déconnecté ;
• horloge interne de haute précision ;
• la possibilité de remplacer rapidement un switch défaillant en déplaçant simplement la carte SD vers une nouvelle (le nouveau switch montera non seulement avec la même config que l'ancien, mais aussi avec la même image IOS) ;
• chargement rapide (dans les 80 secondes) ;
• des tests rigoureux de conformité aux certifications de l'industrie.
Figure 1. Simulation du refroidissement de l'interrupteur par convection
Figure 2. Test d'immunité de l'interrupteur aux influences électromagnétiques
Figure 3. Tests avec exposition à l'eau sur un interrupteur avec niveau de protection IP67
Il arrive souvent que des interrupteurs industriels soient connectés à des interrupteurs de bureau ordinaires, comme à des interrupteurs d'agrégation, et si ce dernier tombe en panne le segment industriel cesse de fonctionner. Pour éviter cela, il est nécessaire d'assurer le regroupement des commutateurs industriels situés dans des ateliers ou sur le territoire d'une entreprise industrielle sur des commutateurs de regroupement industriels spéciaux. Cisco propose à cet effet les commutateurs de la gamme Cisco IE5000 :
Ils sont montés dans une armoire de 19 pouces, peuvent être alimentés à la fois en courant continu et en courant alternatif, offrent une densité de ports élevée, des performances élevées, mais en même temps une fiabilité industrielle et une prise en charge des protocoles industriels tels que PTP, PRP, HSR, PROFINET MRP . Comme les autres commutateurs de la gamme industrielle, Cisco IE5000 est capable de recevoir des alarmes d'appareils d'automatisation, par exemple des appareils de climatisation ou d'un capteur de porte de pièce, et de les envoyer - par exemple, pour activer une sirène et une notification lumineuse, en plus, bien sûr, les messages d'état SNMP et Syslog-switch envoyés aux systèmes de surveillance. De plus, ces commutateurs prennent en charge l'empilage sur des ports 10G. Voici un exemple de construction d'un réseau utilisant des anneaux REP et des commutateurs IE5000 comme agrégateurs :
Prise en charge des protocoles industriels
Les réseaux Ethernet industriels utilisent des versions Ethernet de divers protocoles industriels : PROFINET, CCLINK, CIP, etc. Dans le même temps, en règle générale, les équipements de réseau doivent prendre en charge ces protocoles sous une forme ou une autre. Par exemple, lors de l'utilisation de PROFINET, il est nécessaire de contrôler à l'aide de ce protocole non seulement les contrôleurs, capteurs ou actionneurs, mais également les commutateurs eux-mêmes qui forment le réseau. Pour cela, dans les modèles de commutateurs industriels Cisco à partir de IE3000, la prise en charge du travail sur PROFINET en tant que périphérique d'entrée-sortie est implémentée. De plus, certains modèles de commutateurs Cisco peuvent être gérés à l'aide du portail Siemens TIA.
Un autre exemple de norme industrielle souvent requise pour la prise en charge est la mise en réseau sensible au temps (TSN). Il s'agit d'un ensemble de normes Ethernet qui permettent la livraison de trames Ethernet avec un délai prévisible et constant dans le temps. L'Ethernet familier, permettez-moi de vous le rappeler, fonctionne de manière asynchrone et les trames qu'il contient atteignent le destinataire "le plus rapidement possible". La fonctionnalité du protocole TSN est prise en charge dans les commutateurs Cisco IE3400, IE4000, IE4010 et IE5000.
Comment protéger un réseau industriel ?
De nombreuses normes et recommandations pour la construction de réseaux industriels prévoient la mise en place d'une zone démilitarisée DMZ entre les réseaux de bureaux et industriels. Dans cette zone, des postes de travail peuvent être localisés pour accéder à distance aux composants industriels. Il existe un certain nombre de recommandations pour la construction d'une telle DMZ, par exemple :
• le trafic ne doit pas passer entre le bureau et les réseaux industriels ;
• tout protocole autorisé entre la DMZ et le segment industriel doit être explicitement interdit entre la DMZ et le segment bureautique ;
• le segment industriel du réseau ne doit pas avoir accès depuis Internet, même à travers un pare-feu ;
• Et bien sûr pas de "Tout" dans les champs pour les adresses IP, les ports et les protocoles dans les politiques de pare-feu.
Idéalement, la DMZ doit être agencée de telle sorte que si elle est physiquement déconnectée du réseau, le segment industriel continuera à fonctionner.
Les segments industriel, bureautique et DMZ sont séparés les uns des autres par des pare-feux. Ici, Cisco a un net avantage : vous pouvez créer un réseau sécurisé à l'intérieur et à l'extérieur de ses produits.
Les pare-feux Cisco sont capables de reconnaître non seulement les protocoles de réseaux industriels :
mais aussi les appareils industriels connectés au réseau :
Et également de détecter, autoriser ou interdire des actions spécifiques au sein de ces protocoles :
Cela vous permet de créer des politiques de pare-feu non seulement basées sur les adresses IP et les ports TCP / UDP, mais également sur la base des noms de modèles de périphériques spécifiques et de protocoles de communication entre eux. Dans la plupart des situations, le pare-feu a des règles prédéfinies que vous pouvez utiliser avec vos propres paramètres. De telles règles peuvent protéger non seulement des attaques délibérées, mais également "des imbéciles" - des commandes envoyées par erreur aux appareils industriels.
Les pare-feu fournissent ce qu'on appelle la macro-segmentation du réseau - une division en grandes sections, entre lesquelles le trafic est soit interdit, soit filtré par des règles de pare-feu. Ainsi, non seulement les segments de réseau DMZ, industriel et de bureau sont séparés les uns des autres, mais aussi, par exemple, différents ateliers et lignes de production dans le segment industriel. Pour cette dernière tâche, le pare-feu Cisco Industrial Security Appliance (ISA) peut être utile - un pare-feu industriel à part entière.
Comment fournir correctement l'accès à distance ?
En règle générale, dans les réseaux industriels, il est nécessaire de fournir un accès à distance aux organisations qui entretiennent les équipements ICS. Dans le même temps, il est important de bien contrôler qui et où cet accès est fourni et de se protéger contre les accès non autorisés. L'accès à distance s'effectue via la DMZ décrite ci-dessus.
Ici, en plus des pare-feu Cisco Firepower, le moteur Cisco Identity Services Engine peut être d'une grande aide. Les pare-feu fournissent une connexion à l'aide d'AnyConnect VPN ou du trafic de bureau à distance par procuration, et ISE vous permet d'identifier clairement à la fois la personne qui obtient l'accès et l'objet sur le réseau auquel cet accès est fourni, ainsi que de définir des stratégies pour un tel accès sous la forme d'un type de matrice :
De plus, Cisco Firewall Intrusion Prevention System peut détecter et bloquer les attaques de protocoles industriels. Nous parlons ici non seulement d'une situation où le spécialiste d'un fabricant effectue des actions malveillantes sur le réseau du client, mais aussi du fait que l'ordinateur du spécialiste du fabricant et le serveur d'accès distant qu'il utilise peuvent être infectés par un virus qui tente de ouvrir l'accès non autorisé à des tiers. - intrus.
Comment se conformer aux exigences réglementaires ?
Les normes internationales et les documents de conception validée par Cisco ne fournissent que des recommandations « ce qui est le mieux ». Mais outre les recommandations, il existe également les exigences des organismes de réglementation qui doivent être remplies lors de la construction de réseaux industriels. En Russie, il s'agit notamment de l'ordonnance n° 239 du FSTEC « sur l'approbation des exigences visant à garantir la sécurité des objets importants de l'infrastructure d'information critique de la Fédération de Russie » Il contient une liste de solutions architecturales pour les fonctionnalités qui doivent être mises en œuvre.
Certaines des exigences de la commande, telles que la présence d'un pare-feu et d'un IPS mis à jour sur le périmètre du segment industriel, la segmentation du réseau, l'organisation de DMZ, sont fermées par les pare-feux Cisco Firepower décrits ci-dessus. Exigences d'authentification et d'autorisation - Cisco ISE. De plus, tout un ensemble d'exigences liées à la surveillance du réseau industriel est couverte par la solution Cisco CyberVision.
La solution Cisco CyberVision peut collecter des données du réseau industriel sous forme de trafic SPAN ou de capteurs spéciaux dans les périphériques réseau et présenter une image de ce qui se passe à l'administrateur, ainsi qu'envoyer les informations nécessaires aux systèmes de gestion de configuration et SIEM. L'administrateur réseau peut obtenir une liste complète des appareils connectés au segment de réseau industriel (pas seulement des commutateurs Ethernet, mais aussi des appareils d'automatisation industrielle), les vérifier pour les vulnérabilités connues et suivre leur comportement.
Figure 4. Un exemple d'affichage des vulnérabilités connues pour les appareils industriels
Nous aborderons plus en détail le sujet des réseaux industriels câblés lors du webinaire du 22 juin, si vous souhaitez vous inscrire, vous pouvez vous inscrire ici