Astronomie, mégadonnées et nuages ​​- comment la technologie aide à étudier l'univers

Comment les astronomes travaillent-ils habituellement? Ils conviennent avec l'observatoire de la date et de l'heure d'utilisation du télescope, et le jour fixé, ils effectuent des observations en téléchargeant les données collectées. Mais du fait que les télescopes génèrent de plus en plus d'informations utiles, les méthodes traditionnelles cessent de fonctionner. Et les scientifiques ont trouvé une issue en utilisant les technologies cloud. Cloud4Y explique comment les Stargazers fonctionnent désormais.



L'Observatoire Vera Rubin au Chili peut collecter 20 téraoctets de données par nuit. Cela est en grande partie dû à son bon emplacement. Le télescope à miroir grand angle de recherche est situé à une altitude de 2715 m au sommet d'El Peñon (c'est le nord du Chili). La conception du télescope est unique en ce sens qu'il a un champ de vision très large: 3,5 degrés de diamètre ou 9,6 degrés carrés. Par comparaison, le Soleil et la Lune sont visibles depuis la Terre sous forme d'objets mesurant 0,5 ° horizontalement ou 0,2 degré carré. Combiné à la grande ouverture, cela lui permet d'avoir une force de collecte extrêmement élevée. En d'autres termes, le télescope est capable d'acquérir des données de vastes zones du ciel en même temps. La première lumière «d'ingénierie» devrait être reçue en mai 2021, l'ensemble du système - en octobre 2021 et en octobre 2022 pour commencer à fonctionner pleinement



20 téraoctets équivaut à peu près à la Sloan Digital Sky Survey , qui propose les cartes 3D les plus détaillées de l'univers et qui recueille toutes les données de 2000 à 2010. Mais ce n'est pas tout. Le projet Square Kilometer Array , qui devrait commencer à fonctionner en 2020, augmentera ce volume d'un facteur 100, à 2 pétaoctets par jour (lorsqu'il atteindra sa capacité maximale en 2028). Et l'équipement de nouvelle génération (ngVLA), selon les responsables des observatoires, générera des centaines de pétaoctets.



Il n'est pas facile de traiter de tels volumes de données. Vous ne pouvez pas simplement les télécharger et les stocker quelque part. Et créer un support pour que les ressources informatiques locales fonctionnent est trop coûteux. Selon certaines estimations, le coût de l'organisation d'une infrastructure informatique à partir de zéro et du maintien du personnel requis pour soutenir l'observatoire Vera Rubin pourrait approcher 150 millions de dollars sur 10 ans. Ainsi, les astronomes du Chili, comme beaucoup de leurs collègues, se sont tournés vers le nuage. Et voici les conclusions qu'ils ont déjà tirées.

L'investissement dans la puissance de calcul est bon pour la science

Il ne suffit pas de déplacer les données vers le cloud; les chercheurs doivent pouvoir interagir avec eux. Au lieu du modèle de travail traditionnel, lorsque les astronomes transféraient des données sur leurs ordinateurs, ils téléchargent désormais leur code pour travailler avec les données disponibles dans le cloud. Grâce à la disponibilité d'un accès en ligne à la plateforme scientifique de l'observatoire (notebooks Jupyter pour la programmation en Python, Julia, R, etc., interfaces de programmation d'application (API) pour analyser, visualiser et rechercher des données), les utilisateurs peuvent écrire et exécuter du code Python pour une analyse à distance de tout l'ensemble de données de l'observatoire sur des serveurs hébergés au National Center for Supercomputing Applications à Urbana, Illinois. Et vous n'avez rien à télécharger sur votre ordinateur.



Dans d'autres branches de la science, cette approche est très efficace. Par exemple, le projet Pangeo, qui est une plate-forme d'analyse de mégadonnées pour les sciences de la Terre, a rendu publiques et calculables des pétaoctets de données climatiques, facilitant ainsi la collaboration des chercheurs.

Pratique même lorsque vous travaillez sans Big Data

Evelina Momcheva, qui travaille avec un télescope spatial à Baltimore, Maryland, dit avoir rencontré des cas où des projets utilisant uniquement des données de taille moyenne ont bénéficié du cloud computing. Ne serait-ce que parce que les chercheurs ont pu accéder à des ressources largement supérieures aux performances de leurs ordinateurs portables. Et, ce qui est important, à un coût relativement bas. Certains fournisseurs de cloud proposent des ressources gratuites à des fins éducatives.



En 2015, Momcheva et ses collègues ne disposaient que d'un serveur à 8 cœurs pour leur projet 3D-HST, qui analysait les données du télescope spatial Hubble pour comprendre les forces qui façonnent les galaxies dans l'univers lointain. Les ressources étaient rares et elles se sont tournées vers les nuagesprenant cinq machines à 32 cœurs. Pourquoi? Mais parce qu'après des calculs préliminaires, il s'est avéré que l'analyse sur nos propres machines prendrait au moins trois mois. Avec un fournisseur de cloud, cela a pris cinq jours et moins de 1 000 $. »

Le prix n'est pas tout

Les différends quant à savoir si les services cloud sont moins chers par rapport à leur propre infrastructure informatique, s'ils disparaissent, ne le seront pas de sitôt. Les deux parties ont de solides arguments. Par exemple, un rapport du département américain de l'énergie de 2011 sur le cloud computing par Magellan a conclu que les centres informatiques du département sont généralement moins chers que la location de services cloud. Cependant, beaucoup d'eau a coulé sous le pont depuis lors et les technologies ont radicalement changé.



L'optimisation du travail avec les services cloud, selon l'Université de Washington, peut niveler ces différences. Les chercheurs ont pu prouver que l'expérience cloud à 43 $ n'était que de 6 $ après quelques mois de travail et d'optimisation des coûts. Ils ont également calculé qu'accomplir les mêmes tâches dans des délais comparables en utilisant leurs propres ressources coûterait à l'équipe environ 75 000 $ (pour le matériel, l'électricité et les salaires du personnel), tandis que les serveurs devraient être actifs 87% du temps pendant trois ans.



Le gain de temps influence souvent la prise de décision. Lorsque votre infrastructure informatique prend neuf mois pour traiter vos données, et que le cloud ne prend qu'un mois, et pour à peu près le même montant, cette différence de huit mois devient très intéressante.



Les astronomes disent qu'ils n'ont aucun désir de passer d'un côté. Au contraire, l'utilisation d'infrastructures locales pour les tâches quotidiennes et les «nuages» - pour le calcul complexe - est le modèle optimal pour de nombreux centres scientifiques.

La consolidation des données ouvre de nouveaux horizons

Une autre chose que les astronomes aiment beaucoup est la possibilité de combiner plusieurs ensembles de données volumineuses. Leur combinaison peut fournir des informations qui ne seraient pas évidentes pour chaque ensemble séparément. Autrement dit, plus les astronomes rassemblent d'informations, plus cela devient utile.



Inspiré du projet NIH Data Commons, où les scientifiques stockent et échangent des données et des logiciels biomédicaux et comportementaux, les chercheurs prévoient de créer les données communes d'astronomie. Des scientifiques de l'Université de Washington ont déjà publié un ensemble de données appelé Zwicky Transient Facility, qui comprend 100 milliards d'observations d'environ 2 milliards d'objets célestes. Si ce travail est utile, d'autres astronomes peuvent emboîter le pas. Ensuite, tout un écosystème astronomique sera créé, dont les possibilités ne peuvent être que rêvées.

Il ne suffit pas d'aller dans le cloud, il faut savoir s'en servir

Pour travailler avec des données dans le cloud, les utilisateurs doivent créer un compte, choisir l'une des nombreuses options d'interaction avec les informations, installer leur propre logiciel (souvent auto-écrit ou personnalisé). De plus, configurez tout pour que le logiciel puisse fonctionner sur plusieurs machines en même temps. Les erreurs sont inévitables et peuvent coûter cher aux chercheurs, décourageant leur intérêt pour la technologie cloud. Il y a eu un cas où des étudiants diplômés incompétents ont «brûlé» en vain quelques milliers d'heures de CPU. Il est donc conseillé aux scientifiques de s'entraîner d'abord «sur les chats», en lançant de petits projets pilotes utilisant leur propre infrastructure.



Il est également important de ne pas oublier les exigences de sécurité. Bien que la confidentialité et la sécurité dans le cloud soient meilleures que les ressources sur site, la mise en place d'une infrastructure cloud peut être difficile. Et l'erreur d'un programmeur inexpérimenté conduira au fait que vos données seront disponibles dans le monde entier. Lorsque vous utilisez notre propre parc informatique, ces problèmes sont contrôlés plus étroitement. Et dans le cloud, il est facile de se tromper si vous n’écoutez pas les recommandations des experts techniques du fournisseur.



En général, le désir des astronomes d'utiliser les ressources des nuages ​​pour étudier les systèmes stellaires, construire des modèles de formation d'Univers et stocker des «lacs de données» est compréhensible. L'informatique lourde a longtemps été laissée à la merci des équipements des centres de données. Les plates-formes cloud ont considérablement transformé la science et les affaires, devenant un outil important pour le développement de la pensée humaine. L'essentiel est d'utiliser correctement cet outil.



Quoi d'autre est intéressant dans le blog Cloud4Y



→ «Faites-le vous-même», ou un ordinateur de Yougoslavie

→ Le département d'État américain va créer son propre grand pare-feu

→ L'intelligence artificielle chante la révolution

→ Quelle est la géométrie de l'Univers?

→ Œufs de Pâques sur les cartes topographiques de la Suisse



Abonnez-vous à notre chaîne Telegram pour ne pas rater un autre article. Nous n'écrivons pas plus de deux fois par semaine et uniquement pour affaires.