Les satellites de pointe des sciences de la Terre lancés dans un avenir proche généreront des quantités sans précédent de données sur les signes vitaux de notre planète. Le cloud computing aidera les chercheurs à tirer le meilleur parti de ces trésors d’informations. Crédit : NASA Earth Observatory
Alors que les satellites collectent des quantités de données de plus en plus importantes, les ingénieurs et les chercheurs mettent en œuvre des solutions pour gérer ces énormes augmentations.
Les satellites de pointe des sciences de la Terre lancés au cours des deux prochaines années offriront des vues plus détaillées de notre planète que jamais auparavant. Nous pourrons suivre les caractéristiques océaniques à petite échelle comme les courants côtiers qui déplacent les nutriments essentiels aux réseaux trophiques marins, surveiller la quantité d’eau douce qui s’écoule dans les lacs et les rivières et repérer les mouvements à la surface de la Terre de moins d’un demi-pouce (un centimètre ). Mais ces satellites produiront également un déluge de données qui amènera des ingénieurs et des scientifiques à mettre en place des systèmes dans le cloud capables de traiter, stocker et analyser toutes ces informations numériques.
“Il y a environ cinq ou six ans, on s’est rendu compte que les futures missions terrestres allaient générer un énorme volume de données et que les systèmes que nous utilisions deviendraient très rapidement inadéquats”, a déclaré Suresh Vannan, directeur de la Centre d’archives actives distribuées d’océanographie physique basée à NasaJet Propulsion Laboratory de Californie du Sud.
Une partie de la charge utile de l’instrument scientifique du satellite SWOT se trouve dans une salle blanche du Jet Propulsion Laboratory de la NASA pendant l’assemblage. En mesurant la hauteur de l’eau dans l’océan, les lacs et les rivières de la planète, les chercheurs peuvent suivre le volume et l’emplacement de la ressource finie dans le monde. Crédit : NASA/JPL-Caltech
Le centre est l’un des nombreux sous la NASA’s Systèmes de données des sciences de la Terre programme responsable du traitement, de l’archivage, de la documentation et de la diffusion des données des satellites d’observation de la Terre et des projets de terrain de l’agence. Le programme travaille depuis plusieurs années sur une solution au défi du volume d’informations en déplaçant ses données et systèmes de traitement des données des serveurs locaux vers le cloud – des logiciels et des services informatiques qui s’exécutent sur Internet plutôt que localement sur la machine de quelqu’un.
Le satellite Sentinel-6 Michael Freilich, qui fait partie de la mission américano-européenne Sentinel-6/Jason-CS (Continuity of Service), est le premier satellite de la NASA à utiliser ce système de cloud, bien que la quantité de données que le vaisseau spatial renvoie ne soit pas t aussi volumineux que les données que de nombreux futurs satellites reviendront.
Une partie du satellite NISAR repose dans une chambre à vide thermique au Jet Propulsion Laboratory de la NASA en août 2020. Le satellite Terre suivra les changements subtils de la surface de la planète aussi petits que 0,4 pouce. Crédit : NASA/JPL-Caltech
Deux de ces missions à venir, BOSSER et NISAR, produira ensemble environ 100 téraoctets de données par jour. Un téraoctet équivaut à environ 1 000 gigaoctets, soit une capacité de stockage numérique suffisante pour environ 250 longs métrages. SWOT, abréviation de Surface Water and Ocean Topography, produira environ 20 téraoctets de données scientifiques par jour tandis que la mission NISAR (NASA-Indian Space Research Organization Synthetic Aperture Radar) générera environ 80 téraoctets par jour. Les données de SWOT seront archivées avec le Physical Oceanography Distributed Active Archive Center tandis que les données de NISAR seront traitées par le Centre d’archives actives distribuées des installations satellitaires de l’Alaska. Les archives de données scientifiques actuelles de la NASA sont d’environ 40 pétaoctets (1 pétaoctet équivaut à 1 000 téraoctets), mais d’ici 2025 – quelques années après le lancement de SWOT et NISAR – les archives devraient contenir plus de 245 pétaoctets de données.
NISAR et SWOT utiliseront tous deux des instruments radar pour recueillir des informations. Ciblant un lancement en 2023, NISAR surveillera la surface de la planète, en collectant des données sur les caractéristiques environnementales, y compris les changements de terrain associés aux tremblements de terre et aux éruptions volcaniques, les changements des calottes glaciaires et des glaciers de la Terre, et les fluctuations des activités agricoles, des zones humides et de la taille des forêts .
Explorez ce modèle 3D du satellite SWOT en effectuant un zoom avant et arrière, ou en cliquant et en faisant glisser l’image. Crédit : NASA/JPL-Caltech
Prévu pour un lancement en 2022, SWOT surveillera la hauteur des eaux de surface de la planète, à la fois océaniques et d’eau douce, et aidera les chercheurs à compiler la première enquête sur l’eau douce du monde et les courants océaniques à petite échelle. SWOT est développé conjointement par la NASA et l’agence spatiale française Centre National d’Etudes Spatiales.
“C’est une nouvelle ère pour les missions d’observation de la Terre, et l’énorme quantité de données qu’elles généreront nécessite une nouvelle ère pour le traitement des données”, a déclaré Kevin Murphy, responsable des données scientifiques à la Direction des missions scientifiques de la NASA. « La NASA ne travaille pas seulement à travers l’agence pour faciliter un accès efficace à une infrastructure cloud commune, nous formons également la communauté scientifique à accéder, analyser et utiliser ces données. »
Téléchargements plus rapides
Actuellement, les satellites des sciences de la Terre renvoient des données aux stations au sol où les ingénieurs transforment les informations brutes des uns et des zéros en mesures que les gens peuvent utiliser et comprendre. Le traitement des données brutes augmente la taille du fichier, mais pour les missions plus anciennes qui renvoient des quantités d’informations relativement plus petites, ce n’est pas un gros problème. Les mesures sont ensuite envoyées à une archive de données qui conserve les informations sur des serveurs. En général, lorsqu’un chercheur souhaite utiliser un ensemble de données, il se connecte à un site Web, télécharge les données qu’il souhaite, puis les utilise sur sa machine.
Cependant, avec des missions comme SWOT et NISAR, cela ne sera pas faisable pour la plupart des scientifiques. Si quelqu’un voulait télécharger une journée d’informations de SWOT sur son ordinateur, il lui faudrait 20 ordinateurs portables, chacun capable de stocker un téraoctet de données. Si un chercheur voulait télécharger l’équivalent de quatre jours de données de NISAR, cela prendrait environ un an pour fonctionner avec une connexion Internet domestique moyenne. Travailler avec des données stockées dans le cloud signifie que les scientifiques n’auront pas à acheter d’énormes disques durs pour télécharger les données ou à attendre des mois alors que de nombreux fichiers volumineux sont téléchargés sur leur système. « Le traitement et le stockage de gros volumes de données dans le cloud permettront une approche rentable et efficace de l’étude des problèmes liés aux mégadonnées », a déclaré Lee-Lueng Fu, scientifique du projet JPL pour SWOT.
Les limitations de l’infrastructure ne seront pas non plus une préoccupation majeure, car les organisations n’auront pas à payer pour stocker des quantités ahurissantes de données ou pour maintenir l’espace physique pour tous ces disques durs. “Nous n’avons tout simplement pas l’espace de serveur physique supplémentaire au JPL avec une capacité et une flexibilité suffisantes pour prendre en charge à la fois NISAR et SWOT”, a déclaré Hook Hua, architecte des systèmes de données scientifiques du JPL pour les deux missions.
Les ingénieurs de la NASA ont déjà tiré parti de cet aspect du cloud computing pour un produit de validation de principe utilisant les données de Sentinel-1. Le satellite est une mission de l’ESA (Agence spatiale européenne) qui examine également les changements à la surface de la Terre, bien qu’il utilise un type d’instrument radar différent de celui que NISAR utilisera. En travaillant avec les données Sentinel-1 dans le cloud, les ingénieurs ont produit une carte colorisée montrant l’évolution de la surface de la Terre des zones plus végétalisées aux déserts. « Cela a pris une semaine de calcul constant dans le cloud, en utilisant l’équivalent de milliers de machines », a déclaré Paul Rosen, scientifique du projet JPL pour NISAR. « Si vous aviez essayé de le faire en dehors du cloud, vous auriez dû acheter tous ces milliers de machines. »
Le cloud computing ne remplacera pas toutes les façons dont les chercheurs travaillent avec des ensembles de données scientifiques, mais au moins pour les sciences de la Terre, il gagne certainement du terrain, a déclaré Alex Gardner, membre de l’équipe scientifique NISAR au JPL qui étudie les glaciers et l’élévation du niveau de la mer. Il envisage que la plupart de ses analyses se produiront ailleurs dans un proche avenir plutôt que sur son ordinateur portable ou son serveur personnel. “Je m’attends à ce que dans cinq à 10 ans, je n’aie pas beaucoup de disque dur sur mon ordinateur et j’explorerai le nouveau Firehose de données dans le cloud”, a-t-il déclaré.
