QCM sur Big Data corrigé – Principes de base – Partie 13

avril 9, 2025avril 9, 2025 Thomas Aucun commentaire

Questions d’Entretien sur Big Data avec des réponses pour la préparation des entretiens d’embauche, tests en ligne, examens et certifications. Ces questions et réponses sur Big Data comprennent divers sujets tel que les principes de base du Big Data, Hadoop, l’écosystème et ses composants, l’analyse, Hypervisor, etc… Et sont tirés d’un vrai entretien écrit et certaines parties sont en direct. Cette méthode d’apprentissage systématique préparera facilement toute personne pour réussir son test sur Big Data.

1. Quelle est la principale fonction du YARN dans l’écosystème Hadoop ?

A Stocker les données de manière distribuée

B Gérer les ressources et la planification des tâches dans le cluster Hadoop

C Permettre des analyses interactives des données en temps réel

D Fournir des outils de manipulation de données structurées

YARN (Yet Another Resource Negotiator) est responsable de la gestion des ressources dans un cluster Hadoop. Il coordonne l’exécution des applications et assure l’allocation des ressources nécessaires à ces applications, tout en optimisant l’utilisation des ressources du cluster.

2. Quelle technologie permet de comprimer les données dans un environnement Big Data pour améliorer les performances de stockage ?

A Avro

B Parquet

C Snappy

D Apache Kafka

Snappy est une bibliothèque de compression utilisée dans l’écosystème Big Data pour compresser efficacement les données sans trop affecter les performances. Elle est souvent utilisée dans des formats comme Parquet et ORC pour réduire la taille des données stockées.

3. Parmi les bases de données suivantes, laquelle est la mieux adaptée aux données temporelles (par exemple, les séries chronologiques) ?

A HBase

B Cassandra

C MongoDB

D Apache HDFS

Cassandra est particulièrement adapté pour le stockage de données temporelles ou de séries chronologiques. Il permet une gestion efficace des écritures à haute fréquence et des requêtes rapides sur des données distribuées dans de larges clusters.

4. Quel outil dans l’écosystème Big Data est principalement utilisé pour le traitement de données par lots ?

A Apache Kafka

B Apache Flume

C Apache Spark

D Apache MapReduce

MapReduce est un modèle de traitement de données par batches (traitement par lots), où les données sont divisées en petites unités de travail, puis traitées en parallèle. Il est largement utilisé dans Hadoop pour exécuter des processus de transformation de données sur de grandes quantités de données.

5. Dans le cadre de HDFS, quel est le rôle des NameNodes ?

A Gérer les données stockées sur les DataNodes

B Gérer la répartition des ressources sur le cluster

C Gérer les métadonnées, comme les emplacements des fichiers dans le cluster

D Exécuter les applications MapReduce

Le NameNode dans HDFS est responsable de la gestion des métadonnées, telles que les informations sur l’emplacement des blocs de données et les fichiers. Il ne stocke pas les données elles-mêmes, mais assure que celles-ci sont bien distribuées sur les DataNodes.

6. Quelle est la principale différence entre HDFS et un système de fichiers traditionnel ?

A HDFS est uniquement conçu pour les petites quantités de données

B HDFS stocke les données dans un format compressé, tandis qu’un système traditionnel les stocke en texte brut

C HDFS divise les fichiers en blocs et les répartit sur plusieurs nœuds pour assurer la tolérance aux pannes

D HDFS est plus rapide pour les petites données, mais moins efficace pour les grandes données

HDFS (Hadoop Distributed File System) divise de grands fichiers en blocs et les réplique sur plusieurs nœuds dans le cluster. Cela permet d’assurer une tolérance aux pannes et une gestion efficace de grandes quantités de données, ce qui est très différent des systèmes de fichiers traditionnels.

7. Quel type de données « Apache Avro » est le mieux conçu pour gérer ?

A Données non structurées comme des fichiers texte

B Données relationnelles dans des bases de données SQL

C Données semi-structurées ou structurées dans des formats sérialisés

D Données binaires non compressées

Apache Avro est un système de sérialisation de données qui est optimisé pour gérer des données semi-structurées et structurées. Il est utilisé pour stocker et échanger des données dans des formats sérialisés qui peuvent être efficacement compressés et traités dans des systèmes distribués.

8. Dans HDFS, combien de copies d’un bloc de données sont stockées par défaut pour garantir la tolérance aux pannes ?

A 1

B 2

C 3

D 4

Par défaut, HDFS réplique chaque bloc de données 3 fois sur différents DataNodes afin d’assurer la tolérance aux pannes et d’éviter la perte de données en cas de défaillance d’un nœud.

9. Qu’est-ce que « Apache Mesos » ?

A Un moteur de traitement en temps réel des données

B Un système de gestion de base de données NoSQL

C Un gestionnaire de ressources pour le clustering et la gestion de machines virtuelles

D Un outil d’orchestration de workflows dans un cluster

Apache Mesos est un système de gestion des ressources dans des environnements distribués. Il permet de gérer des clusters de machines physiques ou virtuelles en allouant des ressources aux applications, comme Apache Hadoop ou Apache Spark, de manière efficace et équilibrée.

10. Qu’est-ce qu’un « Map » dans le modèle de programmation MapReduce ?

A Une fonction qui agrège les résultats après le traitement des données

B Un format de fichier utilisé pour stocker les résultats de l’analyse

C Un algorithme de tri des données

D Une fonction qui divise le travail en sous-tâches et attribue les données aux différents nœuds

Dans MapReduce, le Map est la première étape du processus. Il divise le travail en petites unités de travail, appelées tâches de mappage, et attribue des sous-ensembles de données à différents nœuds pour traitement parallèle.

QCMs qui pourraient vous intéresser :

1. Quelle est la principale fonction du YARN dans l’écosystème Hadoop ?

2. Quelle technologie permet de comprimer les données dans un environnement Big Data pour améliorer les performances de stockage ?

3. Parmi les bases de données suivantes, laquelle est la mieux adaptée aux données temporelles (par exemple, les séries chronologiques) ?

4. Quel outil dans l’écosystème Big Data est principalement utilisé pour le traitement de données par lots ?

5. Dans le cadre de HDFS, quel est le rôle des NameNodes ?

6. Quelle est la principale différence entre HDFS et un système de fichiers traditionnel ?

7. Quel type de données « Apache Avro » est le mieux conçu pour gérer ?

8. Dans HDFS, combien de copies d’un bloc de données sont stockées par défaut pour garantir la tolérance aux pannes ?

9. Qu’est-ce que « Apache Mesos » ?

10. Qu’est-ce qu’un « Map » dans le modèle de programmation MapReduce ?

Vous pourrez aussi aimer

QCM sur Big Data corrigé – Hadoop, Spark, Hive, HDFS – Partie 12

QCM sur Big Data corrigé – Principes de base – Partie 6

QCM sur Big Data corrigé – Hadoop, Spark, Hive, HDFS – Partie 3

Laisser un commentaire Annuler la réponse