QCM sur Big Data corrigé – Hadoop, Spark, Hive, HDFS – Partie 15

Questions d’Entretien sur Big Data avec des réponses pour la préparation des entretiens d’embauche, tests en ligne, examens et certifications. Ces questions et réponses sur Big Data comprennent divers sujets tel que les principes de base du Big Data, Hadoop, l’écosystème et ses composants, l’analyse, Hypervisor, etc… Et sont tirés d’un vrai entretien écrit et certaines parties sont en direct. Cette méthode d’apprentissage systématique préparera facilement toute personne pour réussir son test sur Big Data.
 
 

1. Quelle commande permet de consulter les logs d’un job MapReduce dans Hadoop ?

A hadoop logs <job-id>

B yarn logs -applicationId <app-id>

C mr-job logs <job-id>

D hdfs log view <job-id>

yarn logs -applicationId application_1234567890123_0001

2. Qu’est-ce que « Hadoop Erasure Coding » et quel est son avantage par rapport à la réplication traditionnelle ?

A Une méthode de compression plus efficace que la réplication.

B Une technique de codage qui permet de reconstruire les données perdues.

C Une méthode de chiffrement des données plus performante que la réplication.

D Une technique pour distribuer les données de manière plus uniforme sur le cluster.

3. Que représente le fs.defaultFS dans le fichier core-site.xml ?

A Le système de fichiers local par défaut

B Le moteur Hive par défaut

C L’URI de base utilisé pour HDFS (hdfs://…)

D L’adresse du ResourceManager

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode-host:8020</value>
</property>

4. Lorsqu’un fichier est stocké dans HDFS, que se passe-t-il si un DataNode tombe en panne ?

A Le fichier est définitivement perdu

B Hadoop tente de le réparer via une copie locale

C Le fichier est automatiquement supprimé

D HDFS détecte le bloc manquant et recrée automatiquement une nouvelle copie sur un autre nœud

5. Quelle commande permet d’afficher toutes les commandes disponibles dans l’interface Hadoop FileSystem ?

A hadoop fs -help

B hadoop fs -?

C hadoop fs

D hadoop fs --commands

6. Qu’est-ce que « Submarine » dans le contexte de YARN ?

A Un outil pour le déploiement de clusters Hadoop sur des sous-marins (blague !).

B Un projet open source qui permet d’exécuter des charges de travail de Deep Learning (TensorFlow, PyTorch, etc.) sur YARN en utilisant des conteneurs Docker.

C Un module de sécurité pour isoler les conteneurs YARN.

D Un outil pour la gestion des réseaux virtuels dans un cluster Hadoop.

7. Que signifie la propriété mapreduce.input.fileinputformat.split.maxsize ?

A Taille maximale des fichiers d’entrée

B Nombre max de splits autorisés

C Taille max d’un split d’entrée pour un Mapper

D Taille max d’un bloc HDFS

8. Quelle commande permet de tester la connectivité et le bon fonctionnement du NameNode ?

A hadoop namenode -ping

B hdfs dfsadmin -report

C hdfs fsck /

D hadoop dfs -check

9. Quelle méthode utilise Hadoop pour assurer la tolérance aux pannes dans HDFS ?

A RAID 1 logiciel

B Clustering actif-passif

C Réplication de blocs sur plusieurs DataNodes

D Compression des blocs

10. Dans Hive, que fait la commande suivante ?

INSERT OVERWRITE TABLE ventes SELECT * FROM ventes_temp;

A Elle ajoute les nouvelles lignes à la table

B Elle écrase complètement la table ventes avec les données de ventes_temp

C Elle met à jour les lignes modifiées

D Elle crée une vue temporaire