Je m'appelle Anton Fedoseev, je suis développeur d'une plateforme AR pour la visioconférence, qui est utilisée par nos installations de production. Nous avons lancé un service grâce auquel nos employés peuvent communiquer par vidéo avec des collègues d'autres régions, recevoir des consultations en ligne d'experts - fabricants d'équipements (également d'autres régions), et l'entreprise peut économiser de 500 mille roubles à plusieurs millions pour 1 appel vidéo.
D'où proviennent ces économies, quelle est la particularité d'utiliser un tel service dans les installations industrielles, pourquoi nous n'avons pas géré avec des analogues existants sur le marché et comment nous avons fabriqué notre produit - je vous le dirai sous la coupe.
Un peu d'histoire
Le projet AR a démarré au SIBUR en janvier 2018, en même temps que le début des travaux actifs sur l'intégration du concept Industry 4.0 dans divers scénarios de production dans nos usines. À ce moment-là, le SIBUR avait déjà analysé un certain nombre de cas liés à la réparation d'équipements industriels, et l'entreprise réfléchissait à la manière de réduire le coût d'attirer des spécialistes externes de fournisseurs de ces équipements et de sociétés de services, en remplaçant leurs visites en personne par des consultations sur les communications audio et vidéo.
La même année, nous avons testé la technologie de télémaintenance à l'aide de lunettes AR, en utilisant un certain nombre de solutions disponibles sur le marché, et également élaboré des scénarios de base pour l'application d'une telle technologie, calculé l'effet économique de sa mise en œuvre. Nous avons réalisé qu'un tel projet est à la fois opportun et réalisable d'un point de vue technique. Et nos entreprises de Tobolsk sont devenues le site de test.
Nous avons nommé notre produit «Remote AR Expert». En 2019, avec l'aide de notre «Expert à distance», qui travaillait encore sur le logiciel temporaire d'un partenaire, plus de 300 appels vidéo ont été effectués - autant de cas où des équipementiers, des experts internes, des représentants d'entreprises de construction ont transféré ou reçu toutes les informations nécessaires via le service AR, sans venir à notre production. Et en juin 2020, SIBUR a commencé le déploiement actif de sa propre plateforme AR pour la télémaintenance et la réparation des équipements industriels.
Qu'est-ce que le service de maintenance et de réparation à distance AR?
Notre service AR est facile à utiliser et, d'une manière générale, comprend 2 composants clés: les lunettes de réalité augmentée RealWear et Epson (en fonction des conditions environnementales, plus à ce sujet plus tard) et la propre plate-forme multimédia mobile de SIBUR basée sur le système d'exploitation Android intégré. développé en collaboration avec G-Core Labs. La plateforme vous permet de numériser entièrement l'ensemble du processus de maintenance et de réparation, en organisant la diffusion HD, en utilisant WebRTC et une plateforme de communication à part entière pour une interaction efficace d'un spécialiste sur site avec un expert distant. Tous les contrôles sont effectués à la voix, les mains de la personne travaillant avec l'installation restent totalement libres.
Un représentant d'un équipementier industriel ou un expert SIBUR interne est en contact avec le spécialiste de l'usine, qui reçoit simplement un lien vers son e-mail personnel et lance la visioconférence dans n'importe quel navigateur (Chrome, Edge, Mozilla, Safari, etc.) sur n'importe quel appareil, en incl. tablette et smartphone.
Il n'est pas nécessaire d'installer des applications ou des programmes spéciaux.
SIBUR est une entreprise géographiquement répartie, nos entreprises opèrent dans plus de 20 régions à travers la Russie (et pas seulement), de la partie européenne du pays à la Sibérie et l'Extrême-Orient. Parfois, il y a des milliers de kilomètres entre l'usine et un expert qualifié qui peut gérer l'entretien ou la réparation d'un équipement particulier. Par exemple, il faut 7 à 9 heures pour aller d'un centre d'entreprise à Moscou à un objet situé en Sibérie - pendant ce temps, tout peut changer pour le meilleur ou pour le pire. Et si l'expert n'est pas à Moscou, mais dans un autre pays? Les usines exploitent à la fois des installations russes et des équipements de fabricants américains, japonais, européens et asiatiques. Nous tenons également compte du fait que vous devez parfois organiser un voyage d'affaires - obtenir un visa. Il convient de le noter iciqu'une consultation en personne avec un spécialiste n'est pas bon marché: ce sont les frais de déplacement, le coût de payer une journée de travail complète d'experts, voire plusieurs jours (la facturation à l'heure ne fonctionne pas en face à face). Une telle consultation peut coûter à une entreprise de plusieurs centaines de milliers à un million de roubles. Et si les restrictions de quarantaine, la fermeture des frontières et la suspension des vols internationaux à nouveau? C'est pourquoi le lancement de la plateforme AR pour le conseil à distance a été très pertinent pour nous.fermeture des frontières et suspension des vols internationaux? C'est pourquoi le lancement de la plateforme AR pour le conseil à distance a été très pertinent pour nous.fermeture des frontières et suspension des vols internationaux? C'est pourquoi le lancement de la plateforme AR pour le conseil à distance a été très pertinent pour nous.
Service AR: fonctionnalité nécessaire et comment nous l'avons implémentée
Le scénario principal d'utilisation de notre service est les appels vidéo de groupe. Pour réduire la charge sur le réseau et améliorer la qualité de la vidéo transmise, nous utilisons un serveur multimédia. Le serveur multimédia utilisé dans le projet permet de dupliquer le flux multimédia entrant pour plusieurs clients, en l'adaptant au canal de communication de chaque client. Il vous permet également de créer des aperçus en direct des utilisateurs, éliminant ainsi le besoin de transférer des vidéos en taille réelle d'autres clients vers le client. Pour le travail de groupe des clients sur la base du serveur multimédia, des outils tels que le zoom et l'enregistrement sont mis en œuvre.
Lorsqu'ils parlent de «vidéoconférence», tout le monde représente skype ou zoom. Mais nous travaillons avec des interfaces et des documents, et en production, nous travaillons avec des équipements, nous avons donc besoin de mains libres pour démontrer les processus. L'environnement lui-même est également différent - l'outil de communication ne doit pas provoquer d'étincelle.
Pour libérer les mains d'un spécialiste «du terrain», la plateforme permet un contrôle vocal complet des lunettes AR: sur commande, elles sont activées, démarrent la diffusion à distance, enregistrent des vidéos et prennent des photos haute résolution. Une fois la session terminée, les enregistrements de consultation sont enregistrés sur le serveur d'entreprise. En début de séance, le nom et les insignes de l'expert connecté, les indicateurs de la qualité de la connexion réseau et le niveau de la batterie sont affichés sur le micro-écran des lunettes.
En cas de gel sévère, les verres fonctionnent en douceur pendant 2 heures. Et nous revenons ici au sujet des étincelles. Sur nos sites de production, nous utilisons des équipements conçus pour fonctionner dans un environnement gazeux dangereux - c'est RealWear. Pour les travaux dans les ateliers de réparation, il est possible d'utiliser des appareils résistants à la poussière et à l'humidité dans la conception industrielle. Ici, nous utilisons du matériel Epson.
À propos de l'image
G-Core Labs nous a aidés à développer la plateforme média. Une image stable et claire, la capacité de voir même les petits détails de l'équipement - tout cela était très important pour nous. À cet égard, nous avons modifié le comportement standard de la bibliothèque WebRTC, dans lequel lorsque la vitesse de la connexion au réseau diminue, la qualité de l'image se détériore, mais la fréquence d'images reste. Dans notre cas, c'est la qualité de l'image qui est critique, même s'il y a des retards dans la livraison du flux vidéo. Eh bien, si la connexion échoue complètement, notre plateforme donne la priorité au maintien de la connexion audio avec l'opérateur.
En plus d'une image de haute qualité, nous avions également besoin de réalité augmentée - astuces, notifications. À l'aide d'un pointeur virtuel affiché sur le micro-écran des lunettes, un employé de l'équipementier peut diriger les actions d'un spécialiste de l'usine, en indiquant où il doit regarder, quoi tourner et où contrôler. De plus, le chat et l'envoi d'autocollants sont intégrés aux fonctionnalités de la plateforme AR. Ces derniers sont nécessaires, par exemple, si quelque chose ne va pas avec la connexion. Dans ce cas, l'expert distant envoie des autocollants de signal - par exemple, un "tick" si tout est fait correctement, ou un "stop" si vous devez arrêter des actions.
Qu'est-ce qui rend notre service unique?
Les principales caractéristiques de la solution SIBUR par rapport aux autres analogues du marché sont la profondeur de son intégration dans les tâches et processus de production réels des entreprises, la numérisation complète du processus de réparation et la polyvalence, ce qui permet au service d'être déployé sur une variété de sites de production.
Dans notre solution, nous avons élaboré un modèle à part entière centré sur les clients professionnels - responsables de production, responsables de site, mécaniciens, responsables du service client technique, etc. Le service AR fournit un système de ticket, ce qui implique non seulement la possibilité de communication vidéo, mais également une numérisation à part entière du processus métier pour mener une consultation à distance. À l'aide de ce système de tickets, nous guidons le client tout au long du chemin de la résolution du problème survenu, de la vérification de l'exhaustivité des informations nécessaires à l'évaluation du coût du travail, des compétences et qualifications nécessaires des experts externes ou internes, garantissons la sécurité des informations et répondons aux questions sur qui, à quelle heure et avec qui faut prendre des lunettes,comment ce système est pris en charge et comment exactement toute cette interaction a lieu jusqu'à l'achèvement réussi du service ou de la réparation.
Bien sûr, en Russie, en Europe, en Asie et en Amérique, il existe des systèmes qui permettent d'organiser la communication vidéo à l'aide de lunettes de réalité augmentée. Cependant, à ce jour, le succès de la mise en œuvre de tels projets dans les entreprises industrielles dépend largement de la qualité de l'intégration dans les processus internes, ainsi que de la plate-forme informatique utilisée, personnalisée pour les processus et les tâches industriels.
Contraintes et défis: non - plugins et WiFi, oui - architecture LTE et microservice
L'une des exigences lors de la création de la plate-forme était l'absence d'installation de quoi que ce soit (plugins ou programmes) sur les ordinateurs des utilisateurs. Nous avons satisfait à cette exigence en utilisant un client Web et un navigateur moderne. Presque tous les navigateurs modernes (de bureau et mobiles) prennent en charge la technologie WebRTC. Notre service en est construit. En bref, WebRTC vous permet d'établir une communication audio et vidéo en continu entre les participants à l'aide du protocole RTP, qui à son tour s'exécute sur UDP. Il existe un mécanisme de sélection de chemins pour établir une connexion entre participants (ICE), un mécanisme de négociation du format des flux multimédia (SDP), des algorithmes d'estimation de la bande passante d'un canal de communication, des algorithmes pour adapter la compression des flux de données multimédia et des algorithmes de traitement multimédia tels que l'annulation d'écho, etc.Récemment, WebRTC a reçu une bonne diffusion dans les navigateurs et le développement. L'utilisation d'UDP pour le transfert de données entre participants n'est pas toujours possible en raison de la présence de pare-feu, d'antivirus, de routeurs et de NAT. Pour résoudre ces problèmes, STUN et TURN ont été inventés. Pour les cas où UDP n'est pas disponible, il est désormais possible d'utiliser TCP pour ICE. Le support TCP a également été ajouté à STUN et TURN.
TCP augmente la disponibilité de notre service pour les clients externes qui peuvent être derrière NAT, pare-feu, pare-feu d'entreprise et autres restrictions de réseau. Cependant, l'utilisation du protocole TCP au lieu d'UDP a modifié le comportement de WebRTC. Lors du transfert de données multimédia via le protocole UDP, la perte de paquets, la duplication, la réorganisation, de petits retards sont possibles. Toutes ces situations sont gérées correctement par WebRTC: il peut y avoir une apparition à court terme d'artefacts d'image ou une distorsion sonore. Lors de l'utilisation de TCP, il n'y a pas de pertes, de duplication et de réorganisation des paquets - ceci est surveillé par les algorithmes intégrés dans le protocole. Mais tout cela se traduit par de gros retards et de la gigue lors de la réception de paquets.Visuellement, cela ressemblait à un gel des images et à une accumulation progressive de retard entre la source vidéo et l'affichage sur un autre client. Après avoir apporté des modifications au serveur multimédia, nous avons pratiquement réussi à nous débarrasser de l'accumulation de latence, mais le gel des images n'a pas été surmonté. Il a été décidé de désactiver temporairement la transmission vidéo du serveur multimédia en cas de longs délais de réception des paquets. Cette solution a permis de préserver la communication vocale entre les participants, même dans de mauvaises conditions de réseau.Cette solution a permis de préserver la communication vocale entre les participants, même dans de mauvaises conditions de réseau.Cette solution a permis de préserver la communication vocale entre les participants, même dans de mauvaises conditions de réseau.
Toutes les lunettes intelligentes industrielles du marché se connectent au réseau via WiFi. Cela crée certaines difficultés dans le fonctionnement des verres sur les vastes territoires des usines SIBUR. Fournir une connexion WiFi stable à tous les endroits d'une usine où le travail est censé être effectué à l'aide de lunettes intelligentes, compte tenu de l'ampleur des usines et des installations, est un défi de taille. Il est plus efficace et moins coûteux d'utiliser le réseau sans fil LTE dans les espaces ouverts. Une telle solution, cependant, nécessite que l'employé dispose d'un équipement supplémentaire - un modem LTE. Le réseau LTE est également bien protégé par les structures en béton armé des ateliers et les caisses métalliques des équipements à l'intérieur. Pour fournir une couverture à l'intérieur du bâtiment, des modems LTE stationnaires et un réseau de traducteurs WiFi sont utilisés. Lorsque vous travaillez dans des lunettes intelligentes, la qualité de la connexion aux serveurs est instable,se rompt parfois. Afin de ne pas perdre d'informations sur ce que l'employé faisait avec les lunettes et comment, les lunettes enregistrent sur le support interne. Cette vidéo est enregistrée en qualité HD et ne dépend pas des conditions du réseau. Nous avons la possibilité d'effacer à distance les données sur les lunettes, ainsi que de supprimer les données en cas de détection de racine.
Tous les services SIBUR sont construits à l'aide d'une architecture de microservices. Notre plateforme ne fait pas exception. En fait, il se compose de deux microservices: le microservice BPM et le microservice d'appel vidéo. Nous utilisons également des microservices déployés ou développés par d'autres équipes: un microservice d'authentification pour travailler avec les utilisateurs, un microservice de notification pour les mailings et SMS, et quelques autres. Les microservices communiquent entre eux à l'aide de gRPC. Les clients communiquent avec notre service de la même manière: pour des lunettes intelligentes et un client Web. Cependant, gRPC n'est pas directement pris en charge par les clients Web. Ils ont une bibliothèque pour travailler avec gRPC-web, qui n'est pas compatible avec gRPC. Pour accéder au service, une passerelle gRPC est utilisée, qui traduit gRPC-web en gRPC et vice versa.
Pour le moment, nous avons construit une plate-forme modulaire qui fournit une communication vidéo et audio stable et de haute qualité (dans la mesure où le réseau le permet), et a également la capacité d'étendre ses fonctionnalités en ajoutant de nouveaux modules et équipements. Il y a encore beaucoup de travail à faire: les plans sont pour une intégration plus étroite avec les autres services d'information du SIBUR, la recherche d'une nouvelle génération de lunettes intelligentes et de casques AR et VR, la mise en œuvre d'outils de réalité augmentée et la collaboration efficace de nos collègues et partenaires tiers.