Après avoir rejoint l'équipe Rostelecom-DPC, des spécialistes DataLine exploiteront également ce centre de données. Vous avez probablement déjà entendu quelque chose à propos de "Udomlya". Aujourd'hui, nous avons décidé de vous expliquer en détail comment tout y fonctionne.
Paysages industriels: datacenter de 32 000 m² et centrale nucléaire en arrière-plan. Échantillon d'Udomlya du printemps 2019.
Plus de 40 photos de systèmes d'ingénierie de centre de données avec une description détaillée ont été collectées sous la coupe. Une agréable surprise attend ceux qui arrivent jusqu'au bout.
À propos de la logistique
Le centre de données est situé dans la région de Tver. De Moscou à Udomlya, la route prendra environ trois heures: 1 heure 45 minutes de Sapsan jusqu'à la gare de Vyshny Volochek, et de là, sur demande préalable, une navette vous attendra et vous conduira au centre de données. De Saint-Pétersbourg à Vyshny Volochok un peu plus longtemps - 2 heures 20 minutes.En voiture, vous pouvez arriver de Moscou en 4,5 heures, de Saint-Pétersbourg - en 5.
Oui, pour quelques unités, vous ne voudrez probablement pas aller ici. Mais si vous avez besoin d'une nouvelle maison pour des dizaines de racks, cela vaut la peine de regarder de plus près. Il y a suffisamment d'espace et d'électricité, même si vous souhaitez doubler ce montant à tout moment. À Moscou, où, d'après notre expérience, les centres de données sont réservés même au stade de la construction, cette astuce ne fonctionnera pas toujours.
En outre, l'emplacement du centre de données entre Moscou et Saint-Pétersbourg peut être utilisé pour la géo-redondance. Si les principales capacités sont à Moscou ou à Saint-Pétersbourg, le site de réserve conviendra bien ici.
Une équipe de mains intelligentes vous assistera dans toutes les opérations standard sur site. Ils recevront, déballeront et installeront l'équipement dans des racks, le connecteront à l'alimentation et au réseau, et fourniront un accès à distance à l'équipement. En cas de dysfonctionnement, ils aideront au diagnostic et remplaceront les composants défectueux.
Le premier étage du centre de données se compose de 4 salles informatiques, ou modules, de 205 racks chacune. Au premier étage il y a 2 salles des machines et un centre d'énergie, au second il y a deux autres salles et un centre froid. Voyons comment tout fonctionne ici.
Sécurité physique
Le centre de données occupe une zone dédiée, qui ne peut pas être saisie sans un pass et une pièce d'identité. Ceux qui arrivent en voiture reçoivent également un laissez-passer de transport et seulement alors peuvent entrer dans le centre de données. Pour ceux qui ont tout en ordre avec un pass, le centre de données est ouvert 24h / 24 et 7j / 7.
Le premier poste de sécurité ouvert 24h / 24 est l'entrée du territoire.
Nous allons plus loin et arrivons au point de contrôle directement à l'entrée du data center.
Les agents de sécurité rencontrent non seulement les clients et délivrent des laissez-passer, mais surveillent également le mur vidéo 24 heures sur 24, où des images de tous les locaux internes du centre de données et des territoires adjacents sont affichées.
Source de courant
L'électricité commence son chemin vers le centre de données à partir d'une centrale nucléaire. Le centre de données est alimenté en 10 kV pour 6 transformateurs abaisseur. De plus - déjà 0,4 kV par deux voies indépendantes vont à l'appareillage basse tension (LVSN). Ensuite, via le DIBP, l'alimentation est fournie aux équipements informatiques et d'ingénierie. Deux entrées indépendantes conviennent au rack, c'est-à-dire une redondance 2N. Nous vous en dirons plus sur le fonctionnement de tout en termes d'alimentation dans un article séparé.
Le chemin de l'électricité dans le centre de données "Udomlya"
Bus électriques à travers lesquels l'électricité provient de l'appareillage basse tension vers les panneaux d'alimentation DIBP Rangées d' appareillage basse tension
Malgré le fait qu'une centrale nucléaire se trouve à proximité, dans tout centre de données fiable, l'alimentation principale est considérée comme garantie. Dans nos centres de données, comme vous le savez, les DGU en sont responsables, mais ici, ils utilisent des onduleurs dynamiques (DIBP). Ils fournissent également une alimentation électrique ininterrompue. Les RIBP sont redondants N + 1.
Marque DIBP Euro-Diesel (Kinolt) d'une capacité de 2 MW. Ils rugissent de telle manière qu'il vaut mieux ne pas y aller sans bouchons d'oreille
Et c'est comme ça que ça marche. Le DIBP est une combinaison de trois composants principaux: un moteur diesel, une machine électrique synchrone et un accumulateur d'énergie cinétique avec rotor. Ils sont tous fixés à l'arbre principal.
La machine électrique peut fonctionner dans le mode d'un moteur électrique et d'un générateur. Lorsque le DIBP est normalement alimenté par la ville, la machine électrique est un moteur électrique qui fait tourner le rotor et stocke l'énergie cinétique dans la batterie.
Bloc gris au premier plan - machine synchrone DIBP
Moteur diesel DIBP
En cas de panne de courant en ville, la machine électrique passe en mode générateur. Grâce à l'énergie cinétique accumulée, le rotor fait tourner l'arbre principal du DIBP, la machine électrique continue de fonctionner sans énergie urbaine et la tension de sortie ne disparaît pas. Cela garantit une alimentation électrique ininterrompue dans le centre de données. En même temps, le système de contrôle DIBP donne un signal pour démarrer le moteur diesel. La même énergie cinétique du rotor démarre le diesel et l'aide à atteindre la fréquence de fonctionnement. Le rotor continue de tourner jusqu'à une minute, et cela suffit pour que le moteur diesel prenne le relais. Après le démarrage, le moteur diesel fait tourner l'arbre principal, et à travers lui - et la machine électrique (voici une vidéo visuellecommutation DIBP d'un mode à un autre).
En conséquence, la puissance dans les racks n'est pas perdue même pendant une seconde.
Chaque réservoir de générateur diesel est conçu pour 3 heures. Le centre de données dispose également de son propre stockage de carburant de 80 tonnes, ce qui maintiendra toute la charge du centre de données pendant 24 heures. En cas de coupures très hypothétiques (une centrale nucléaire à proximité ne le permet pas), il existe des contrats avec plusieurs entrepreneurs qui livreront rapidement du gazole sur le site sur appel. En général, tout est comme il se doit.
Chaque semaine, les DIBP effectuent un test automatique et démarrent le diesel. Une fois par mois, des tests sont effectués avec une déconnexion à court terme du réseau de la ville.
Panneau de commande DIBP
Room ShGP et ShbP
"Magistrali" et "découplage" des câbles d'alimentation
Salles de machines
Chaque module est situé dans une zone de confinement, dans une boîte spéciale. Ces murs et toits supplémentaires protègent la salle des machines de la poussière, de l'eau et du feu. Lors de l'acceptation d'un centre de données, la zone de confinement est traditionnellement remplie d'eau pour vérifier les fuites.
Le toit du bâtiment et sa propre toiture de la salle des turbines avec canalisations de drainage L'
eau entrant dans le toit de la zone de confinement passe par les gouttières dans la canalisation de drainage.Chaque
hall est prêt à recevoir 205 racks d'une puissance moyenne de 5 kW.
La disposition des équipements dans la salle est organisée selon le schéma des couloirs froids et chauds.
Des systèmes de détection précoce d'incendie et d'extinction au gaz Bolid sont installés le long du plafond.
Des détecteurs de fumée sont également situés sous le plancher surélevé. Il suffit de déclencher deux capteurs et la sirène d'alarme incendie retentit, mais nous en reparlerons un peu plus tard.
Immédiatement le long des rangées de climatiseurs, il y a des capteurs de fuite de bande.
Chaque couloir entre les comptoirs est "tourné" par des caméras de vidéosurveillance.
Si vous le souhaitez, les racks peuvent être placés derrière une clôture spéciale (cage) et des caméras supplémentaires, des capteurs ACS et de mouvement, des capteurs de volume, etc. peuvent y être installés.
Approvisionnement froid
Le centre de données Udomlya utilise un circuit de refroidissement à l'éthylène glycol. Il y a des climatiseurs dans les salles des machines, des refroidisseurs sur le toit et au deuxième étage il y a un centre de réfrigération avec des canalisations, un système d'automatisation et de contrôle, des pompes, des réservoirs de stockage, etc.Il y a 12 climatiseurs dans chaque pièce, dont la moitié avec des humidificateurs à vapeur. Schéma de redondance N + 1.
L'allée froide maintient une température de 21-25 ° C et une humidité de 40-60%.
Climatiseurs de précision Stulz CyberAir 3PRO CW
Il y a deux anneaux autour de chaque salle informatique: une ligne «froide» qui fournit de l'éthylène glycol refroidi au climatiseur et une ligne «chaude» qui élimine le glycol chauffé des climatiseurs vers les refroidisseurs. Si nous ouvrons le plancher surélevé dans le couloir, nous verrons des gouttes dans les salles des machines du système de refroidissement.
La voie de l'éthylène glycol est la suivante: l'éthylène glycol chauffé du climatiseur passe d'abord dans la conduite de retour autour de la salle des turbines, puis dans l'anneau commun. L'éthylène glycol est ensuite acheminé vers la pompe puis vers le refroidisseur, où il est refroidi à 10 ° C. Après le refroidisseur, l'éthylène glycol retourne au climatiseur via la conduite d'alimentation en anneau commun, les réservoirs de stockage et un anneau autour du module.
Schéma de
réfrigération d'un centre de données Voici à quoi ressemble un centre froid , traversé par 100 m 3 d' éthylène glycol Les
réservoirs gris sont des vases d'expansion. L'éthylène glycol chauffé les traverse sur le chemin du refroidisseur. En été, l'éthylène glycol se dilate et nécessite un espace supplémentaire.
Ces capacités impressionnantes sont des réservoirs de stockage de 5 m 3 chacunchaque. Ils assurent un refroidissement ininterrompu du datacenter en cas de panne du refroidisseur.
De l'éthylène glycol refroidi à partir des réservoirs est fourni au système, ce qui permet de maintenir la température de l'air à la sortie du climatiseur à 19 ° C pendant 5 minutes. Même si à l'extérieur de la fenêtre il y a +40 ° C
Pompes du système de refroidissement
Filtres à poches en filet et réservoirs séparateurs pour nettoyer l'éthylène glycol des particules mécaniques et de l'air
La fine ligne rouge sur le sol sous les tuyaux est constituée de détecteurs de fuites en ruban. Ils parcourent tout le périmètre du centre froid.
Si l'un des tuyaux fuit, l'éthylène glycol passera par le système de drainage et pénétrera dans un réservoir spécial dans la salle de traitement de l'eau. Il existe également deux réservoirs avec de l'éthylène glycol "de réserve" pour alimenter le système de réfrigération en cas de fuites importantes.
Et sur les refroidisseurs. Il y a 5 refroidisseurs sur le toit avec une redondance N + 1. Chaque jour, l'automatisme détermine, en fonction du temps de fonctionnement, quel refroidisseur mettre en réserve.
Refroidisseurs de la marque Stulz CyberCool 2 d'une capacité de 1096 kW Les
refroidisseurs prennent en charge trois modes:
- compresseur - à partir de 12 ° C;
- mélangé - à 0–12 ° C;
- refroidissement libre - de 0 et en dessous. Ce mode implique le refroidissement de l'éthylène glycol à l'aide des ventilateurs et non du compresseur.
La sécurité incendie
Le centre de données dispose de deux postes d'extinction d'incendie à gaz. Chacun possède deux batteries de 11 cylindres: la première est la principale, la seconde est la réserve.Le système de protection incendie du centre de données est lié au serveur de la centrale nucléaire de Kalinin et, si nécessaire, le service d'incendie de la station arrivera sur place en quelques minutes.
Sur la photo, un système d'alarme incendie et un bouton de sortie de secours dans la salle des machines. Ce dernier est nécessaire si, lors d'une alarme incendie, les portes n'ont pas été déverrouillées pour une raison quelconque: il interrompt l'alimentation électrique de la serrure électrique.
Télécom
Deux autoroutes de Rostelecom arrivent au centre de données par des itinéraires indépendants. Chacun des systèmes DWDM a une capacité de 8 térabits.Le centre de données dispose de deux entrées télécoms, situées à plus de 25 mètres l'une de l'autre.
Les opérateurs Raskom, Telia Carrier Russia, Consist sont également présents sur le site; DataLine apparaîtra prochainement.
Depuis Udomlya, vous pouvez construire un canal vers Moscou, Saint-Pétersbourg ou n'importe où en Russie et dans le monde.
surveillance
Les ingénieurs de service sont en service 24 heures sur 24 dans le centre de surveillance.Toutes les informations sur les systèmes d'ingénierie sont reçues ici: conditions climatiques dans le hall, état des intrants, DIBP, etc.
Toutes les deux heures, les agents de service font le tour de toutes les infrastructures pour inspecter l'état des équipements d'ingénierie et informatiques.
Infrastructure de soutien
Une zone de déchargement est prévue pour la livraison des équipements au centre de données.
Zone de déchargement de l'intérieur.
Si votre salle de sport est au deuxième étage, ce chariot élévateur hydraulique y emportera tout équipement.
Casiers pour ranger les outils clients, et plus encore.
Un peu sur la vie quotidienne
Pour le personnel permanent, vous pouvez louer des postes de travail équipés dans la partie bureau. Si vous venez de temps en temps, vous pouvez séjourner dans un hôtel temporaire avec toutes les commodités directement sur le territoire du centre de données.Le coin bureau comprend également une salle à manger et une cuisine.
Et il y a aussi une nature impressionnante tout autour avec des forêts, des lacs, des rivières, de la pêche et d'autres activités de plein air. Venez visiter ma place.
Comme promis, un joli bonus pour ceux qui sont arrivés au bout. Pendant les six premiers mois, la location d'un rack-place à Udomla avec une puissance fournie de 5 kW sera gratuite. Payez uniquement pour l'électricité réellement consommée. Envoyez votre candidature à request@dtln.ru .