L'Apache Software Foundation a publié une nouvelle version de sa plate-forme - Apache Hadoop 3.3.0 . Un an et demi s'est écoulé depuis la dernière mise à jour. La plateforme elle-même est un outil pour organiser le traitement distribué de grandes quantités de données à l'aide de MapReduce. Hadoop comprend un ensemble d'utilitaires, de bibliothèques et de frameworks pour développer et exécuter des programmes distribués pouvant s'exécuter sur des clusters de milliers de nœuds.
Un système de fichiers spécialisé Hadoop Distributed File System (HDFS) a été créé pour Hadoop, qui assure la redondance des données et l'optimisation des applications MapReduce. HDFS est conçu pour stocker des fichiers volumineux répartis entre des nœuds individuels d'un cluster de calcul. Grâce à ses capacités, Hadoop est utilisé par les plus grandes entreprises et organisations. Google a même accordé à Hadoop le droit d'utiliser des technologies qui affectent les brevets liés à la méthode MapReduce.
En général, nous rencontrons Apache Hadoop 3.3.0 .
Voici une liste des changements les plus importants de la nouvelle version:
- Prise en charge des plates-formes basées sur ARM (en passant, Selectel a des serveurs ARM; voici un lien si vous voulez essayer).
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- Ajout de la prise en charge de la planification des conteneurs OPPORTUNISTIC à exécuter via le gestionnaire de ressources .
Du fait que Hadoop se développe activement, le marché des solutions basées sur celui-ci se développe rapidement. Si en 2019, le volume du marché était d'environ 1,7 milliard de dollars, alors, selon les experts, il atteindra 9,4 milliards de dollars d'ici 2024.
Désormais, Hadoop se classe au premier rang des référentiels Apache en termes de nombre de changements. La base de code de la plate-forme est d'environ 4 millions de lignes. Les plus grands référentiels sont Netflix, Twitter, Facebook.