Hadoop vs Spark : quelles sont les différences ?

Hadoop : définition

Apache Hadoop est un framework open source créé par Doug Cutting et Mike Cafarella en 2006. Il est initialement un projet initié par Yahoo avant d’être repris par Apache Software Foundation.

Il s’agit d’un utilitaire logiciel composé de plusieurs modules formant un écosystème pour le traitement des données Big Data. Le principe utilisé par Hadoop pour cela est la répartition de manière distribuée des données afin de les traiter parallèlement. Le système de stockage distribué mis en place pour cela est composé de plusieurs ordinateurs ordinaires formant ainsi un cluster de plusieurs nœuds. L’adoption de ce système permet à Hadoop de traiter efficacement l’énorme quantité de données disponibles en effectuant plusieurs tâches de manière simultanée, rapide et performante.

Les données traitées avec Hadoop peuvent avoir plusieurs formes. Elles peuvent être structurées comme les tableaux Excel ou les tables d’un SGBD conventionnel. Ces données peuvent également se présenter de manière semi-structurée comme les fichiers JSON ou XML. Les données non structurées telles que les images, les vidéos ou les fichiers audios sont aussi prises en charge par Hadoop.

Hadoop : principaux composants

Les principaux composants d’Hadoop sont :

• HDFS ou Hadoop Distributed File System qui est le système utilisé par Hadoop afin d’effectuer le stockage distribué des données. Il est composé d’un nœud maître contenant les métadonnées du cluster et de plusieurs nœuds esclaves dans lesquels sont stockées les données en elles-mêmes ;
• MapReduce, le modèle algorithmique utilisé afin d’effectuer le traitement de ces données distribuées. Ce patron de conception peut être implémenté à l’aide de plusieurs langages de programmation tels que Java, R, Scala ou Python. Il s’exécute au sein même de chaque nœud de manière parallèle ;
• Hadoop Common dans lequel on retrouve plusieurs utilitaires et bibliothèques prenant en charge les autres composants d’Hadoop ;
• YARN qui est un outil d’orchestration permettant de gérer la ressource sur le cluster Hadoop et le charge de travail effectué par chaque nœud. Il prend également en charge l’implémentation de MapReduce depuis la version 2.0 de ce framework.

Spark : définition

Apache Spark est, quant à lui, un framework open source initialement créé par l’informaticien Matei Zaharia dans le cadre de son doctorat en 2009. Il intègre ensuite Apache Software Foundation en 2010. En réalité, il s’agit d’un moteur de calcul et de traitement de données réparties de manière distribuées sur plusieurs nœuds.

La principale spécificité de Spark est qu’il effectue les traitements In-Memory, c’est-à-dire qu’il utilise la mémoire vive afin de mettre en cache et traiter les données volumineuses réparties dans le cluster. Cela lui confère une plus haute performance ainsi qu’une vitesse de traitement nettement plus haute.

Spark prend en charge plusieurs types de tâches notamment les traitements par lots, le traitement en flux réel, l’apprentissage automatique ou le calcul de graphe. On peut également traiter des données provenant de plusieurs types de systèmes tels que HDFS, les SGBDR ou encore les bases de données NoSQL. L’implémentation de Spark peut être effectuée avec plusieurs langages comme Scala ou Python.

Spark : principaux composants

Les principaux composants d’Apache Spark sont les suivants :

• Spark Core : le moteur général de toute la plateforme. Il a comme responsabilités de planifier et répartir les tâches, de coordonner les opérations d’entrée/sortie ou encore de récupérer les éventuelles pannes. Il se sert entre autres de plusieurs API Spark afin d’effectuer sa mission ;
• Spark SQL : le composant fournissant le schéma RDD qui permet de prendre en charge les données structurées et semi-structurées. Il permet notamment d’optimiser la collecte et le traitement des données de type structuré en exécutant du SQL ou en fournissant l’accès au moteur SQL ;
• Spark Streaming : il permet d’effectuer des analyses de données en streaming. Spark Streaming prend en charge des données venant de différentes sources telles que Flume, Kinesis ou Kafka ;
• MLib : c’est la bibliothèque intégrée d’Apache Spark pour la machine learning. Il fournit plusieurs algorithmes d’apprentissage automatique ainsi que plusieurs outils permettant de créer des pipelines de machine learning ;
• GraphX : il regroupe un ensemble d’API permettant d’effectuer des modélisations, des calculs et des analyses de graphe au sein d’une architecture distribuée.

Hadoop vs Spark : différences

Comme nous l’avons vu dans sa définition, Spark est un moteur de calcul et de traitement de données Big Data. Donc, en théorie, il s’apparente un peu à Hadoop MapReduce dont la vitesse est beaucoup plus rapide, puisqu’il s’exécute In-Memory.

Cependant, en réalité, qu’en est-il vraiment ? Qu’est-ce qui différencie Hadoop et Spark ? Nous allons les comparer selon plusieurs critères :

• Spark est beaucoup plus performant notamment grâce au traitement In-memory tandis que Hadoop procède par lot ;
• Spark est beaucoup plus onéreux en termes de coût, puisqu’il nécessite une quantité importante de RAM pour maintenir sa performance. Hadoop, quant à lui, s’appuie seulement sur une machine ordinaire pour le traitement des données ;
• Hadoop est plus adapté au traitement par lot tandis que Spark est le plus adéquat lorsqu’il s’agit de données en streaming ou de flux de données non structurées ;
• Hadoop est plus évolutif, car il suffit d’ajouter une autre machine si celles qui existent ne suffisent plus. Spark s’appuie sur le système des autres frameworks tels que HDFS pour s’étendre ;
• La sécurité des deux systèmes se vaut et peut être combinée afin d’atteindre un meilleur niveau ;
• Pour l’apprentissage automatique, c’est Spark qui est le mieux adapté.

Hadoop ou Spark ?

Avant de choisir celui que vous devez mettre en place et utiliser pour le traitement de vos données Big Data, il faut prendre en compte les différents critères mentionnés ci-dessus. En effet, votre architecture ainsi que les technologies la composant doit être en cohérence avec l’objectif que vous souhaitez atteindre.

Cependant, dans certains cas, choisir est peut-être inutile, puisque ces deux frameworks peuvent très bien coexister et travailler ensemble. Comme nous l’avons vu dans les précédentes sections, Spark peut être intégré à Hadoop en utilisant son système de stockage HDFS. En effet, ils effectuent tous les deux les traitements de données au sein d’un environnement distribué.