QCM sur Big Data corrigé – Hadoop, Spark, Hive, HDFS – Partie 3

avril 10, 2025avril 12, 2025 Thomas Aucun commentaire

Questions d’Entretien sur Big Data avec des réponses pour la préparation des entretiens d’embauche, tests en ligne, examens et certifications. Ces questions et réponses sur Big Data comprennent divers sujets tel que les principes de base du Big Data, Hadoop, l’écosystème et ses composants, l’analyse, Hypervisor, etc… Et sont tirés d’un vrai entretien écrit et certaines parties sont en direct. Cette méthode d’apprentissage systématique préparera facilement toute personne pour réussir son test sur Big Data.

1. Quel composant de Hadoop est responsable de la gestion des ressources et de la planification des tâches ?

A HDFS

B Hive

C YARN

D Sqoop

YARN (Yet Another Resource Negotiator) est le système de gestion des ressources de Hadoop. Il sépare la gestion des ressources du traitement des données, permettant à Hadoop de supporter différents moteurs de traitement (MapReduce, Spark…).

2. Dans le modèle MapReduce, quelle est la fonction principale du « Mapper » ?

A Réduire les données en une seule valeur

B Trier les résultats finaux

C Transformer les données en paires clé-valeur

D Compresser les fichiers de sortie

Le Mapper prend des blocs de données d’entrée et les transforme en paires clé-valeur, qui seront ensuite regroupées par clé et traitées par les Reducers.

3. Quel est le rôle du « NameNode » dans HDFS ?

A Exécuter les programmes MapReduce

B Stocker les fichiers de données brutes

C Gérer les métadonnées du système de fichiers

D Répliquer les données entre les nœuds

Le NameNode conserve les métadonnées du système de fichiers (comme l’emplacement des blocs, la structure des répertoires). Il ne stocke pas les données elles-mêmes, qui sont sur les DataNodes.

4. Quelle est la fonction du « DataNode » dans HDFS ?

A Gérer l’espace de noms du système de fichiers.

B Stocker les blocs de données réels et effectuer les opérations de lecture/écriture sur ces blocs.

C Allouer les ressources du cluster aux applications.

D Traduire les requêtes SQL en tâches MapReduce.

Les DataNodes sont les nœuds de travail dans HDFS. Ils sont responsables du stockage des blocs de données qui constituent les fichiers et exécutent les opérations de lecture et d’écriture demandées par les clients ou les tâches de traitement.

5. Quelle commande Hadoop permet de transférer un fichier local vers HDFS ?

A hadoop fs -get

B hadoop fs -put

C hadoop dfsadmin

D hadoop copyFromLocal

La commande hadoop fs -put permet de copier un fichier depuis le système de fichiers local vers HDFS. (Ex. : hadoop fs -put monfichier.txt /user/hadoop/)

6. Quel est le rôle du « JobTracker » (dans Hadoop 1.x) ou de « ResourceManager » (dans Hadoop 2.x/YARN) ?

A Stocker les métadonnées des fichiers dans HDFS.

B Fournir une interface SQL pour interroger les données.

C Stocker les blocs de données.

D Gérer l’exécution des tâches MapReduce et allouer les ressources.

Le JobTracker (Hadoop 1.x) ou le ResourceManager (Hadoop 2.x/YARN) est responsable de la gestion du cycle de vie des tâches MapReduce, de la planification des tâches sur les nœuds disponibles et de la gestion des ressources du cluster.

7. Quelle est la taille par défaut d’un bloc HDFS dans Hadoop ?

A 32 Mo

B 64 Mo

C 128 Mo

D 256 Mo

La taille par défaut d’un bloc dans HDFS est de 128 Mo, bien que cela soit configurable. Cela permet de stocker efficacement de grandes quantités de données tout en optimisant les performances de lecture et d’écriture.

8. Qu’est-ce que le « Reducer » dans MapReduce ?

A Un processus qui transforme les données en paires clé-valeur

B Un processus qui trie et agrège les données en fonction des clés

C Un processus qui génère des métadonnées

D Un processus qui gère la réplication des données

Le Reducer prend les paires clé-valeur issues du Mapper, les regroupe par clé et applique des opérations d’agrégation (comme des sommes, moyennes, etc.) pour produire les résultats finaux.

9. Quelle commande Hadoop permet de lister les fichiers dans un répertoire HDFS ?

A hadoop fs -ls

B hadoop fs -dir

C hadoop fs -list

D hadoop fs -show

La commande hadoop fs -ls permet de lister le contenu d’un répertoire dans HDFS, tout comme la commande ls dans un système de fichiers classique. Exemple : hadoop fs -ls /user/hadoop/

10. Quelle est la fonction principale de « Sqoop » dans l’écosystème Hadoop ?

A Intégration de données entre Hadoop et des bases de données relationnelles

B Transformation des données en format CSV

C Exécution de tâches MapReduce

D Analyse de données en temps réel

Sqoop est un outil de transfert de données entre Hadoop et des systèmes de gestion de bases de données relationnelles (comme MySQL, PostgreSQL, etc.). Il permet d’importer et d’exporter des données efficacement.

QCMs qui pourraient vous intéresser :

1. Quel composant de Hadoop est responsable de la gestion des ressources et de la planification des tâches ?

2. Dans le modèle MapReduce, quelle est la fonction principale du « Mapper » ?

3. Quel est le rôle du « NameNode » dans HDFS ?

4. Quelle est la fonction du « DataNode » dans HDFS ?

5. Quelle commande Hadoop permet de transférer un fichier local vers HDFS ?

6. Quel est le rôle du « JobTracker » (dans Hadoop 1.x) ou de « ResourceManager » (dans Hadoop 2.x/YARN) ?

7. Quelle est la taille par défaut d’un bloc HDFS dans Hadoop ?

8. Qu’est-ce que le « Reducer » dans MapReduce ?

9. Quelle commande Hadoop permet de lister les fichiers dans un répertoire HDFS ?

10. Quelle est la fonction principale de « Sqoop » dans l’écosystème Hadoop ?

Vous pourrez aussi aimer

QCM sur Big Data corrigé – Hadoop, Spark, Hive, HDFS – Partie 13

QCM sur Big Data corrigé – Hadoop, Spark, Hive, HDFS – Partie 16

QCM sur Big Data corrigé – Principes de base – Partie 7

Laisser un commentaire Annuler la réponse