QCM Apache Spark Corrigé – Partie 4

QCM sur le framework Apache Spark avec des réponses pour la préparation des entretiens d’embauche, tests en ligne, examens et certifications. Ces questions et réponses sur le framework Apache Spark comprennent divers sujets tel que les bases du framework Apache Spark, Hadoop, MapReduce, Requêtes interactives, traitement en flux, ETL, Big Data, etc…. Et sont tirés d’un vrai entretien écrit et certaines parties sont en direct. Cette méthode d’apprentissage systématique préparera facilement toute personne pour réussir son test sur le framework Apache Spark.
 
 

1. Peut-on combiner les bibliothèques d’Apache Spark dans la même application, par exemple, MLlib, GraphX, SQL et DataFrames etc.

A Oui

B Non

C Peut-être

D Je ne sais pas!

A
Oui, on peut combiner les bibliothèques d’Apache Spark dans la même application, par exemple, MLlib, GraphX, SQL et DataFrames etc.

 

 

2. Laquelle des affirmations suivantes est VRAIE concernant le RDD ?

A RDD est un paradigme de programmation

B RDD dans Apache Spark est une collection immuable d’objets.

C Il s’agit d’une base de données

D Aucune de ces réponses

B
RDD dans Apache Spark est une collection immuable d’objets.

 

 

3. Lequel des éléments suivants n’est pas une fonction de Spark Context dans Apache Spark ?

A Point d’entrée vers Spark SQL

B Pour accéder à divers services

C Pour définir la configuration

D Pour obtenir l’état actuel de l’application Spark

A
Spark Context est un point d’entrée vers Spark SQL.

 

 
 

4. Quelles sont les caractéristiques de Spark RDD ?

A Calcul se fait en mémoire

B Évaluations paresseuses (Lazy Evaluation)

C Tolérance aux pannes

D Toutes les réponses sont vraies

D
Toutes les réponses sont vraies.

 

 

5. Combien de Spark Context (SC) peuvent être actifs par JVM ?

A Plusieurs

B Un seul

C Indéterminé

D Aucune de ces réponses

B
Un seul Spark Context (SC) peuvent être actifs par JVM.

 

 

6. Combien de façons peut-on créer un RDD ?

A 1

B 2

C 3

D 4

C
Il y a trois façons pour créer un RDD dans Spark.

  • En parallélisant une collection déjà existante dans un programme pilote.
  • Référencer un ensemble de données dans un système de stockage externe (par exemple, HDFS, Hbase, système de fichiers partagés).
  • Créer un RDD à partir de RDD déjà existants.

 

 
 

7. Combien de tâches Spark exécute-t-il sur chaque partition ?

A N’importe quel nombre de tâches

B Une seule

C Indéterminé

D Aucune de ces réponses

B
Spark n’exécute qu’une seule tâche par partition.

 

 

8. Peut-on modifier les données du RDD?

A Oui

B Non

C Peut-être

D Je ne sais pas!

B
Les RDD sont immuables par nature, c’est-à-dire que nous ne pouvons pas modifier le RDD, nous devons le transformer en appliquant une ou plusieurs transformations.

 

 

9. Lequel des éléments suivants n’est pas une transformation ?

A Flatmap

B Map

C Reduce

D Filter

C
Deux types d’opérations de Apache Spark RDD sont : les transformations et les actions. Une transformation est une fonction qui produit un nouveau RDD à partir des RDD existants, mais lorsque nous voulons travailler avec le dataset réel, c’est une action qui est exécutée. Lorsque l’action est déclenchée après le résultat, le nouveau RDD n’est pas formé comme une transformation.

Reduce est une action de Spark qui agrège un élément d’un dataset (RDD) en utilisant une fonction. Cette fonction prend deux arguments et en renvoie un.

 

 
 

10. Lequel des éléments suivants n’est pas une action ?

A collect()

B top()

C take(n)

D map

D
map() est une opération de transformation qui est utilisée pour appliquer la transformation sur chaque élément d’un RDD, d’un DataFrame et d’un Dataset et renvoie finalement un nouveau RDD/Dataset respectivement.

Les transformations telles que l’ajout d’une colonne, la mise à jour d’une colonne, etc. peuvent être effectuées à l’aide de map, la sortie des transformations map aura toujours le même nombre d’enregistrements qu’en entrée.

 

 

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *