QCM Apache Spark Corrigé – Partie 9

juin 26, 2022juin 26, 2022 Thomas Aucun commentaire embauche, examen Apache Spark corrige pdf, exemple test, exercice Apache Spark avec correction, exercices corrigés, QCM, qcm Apache Spark, qcm Apache Spark corrige pdf, Question entretien, question entretien Apache Spark, quiz, quiz Apache Spark, test recrutement, Test technique

QCM sur le framework Apache Spark avec des réponses pour la préparation des entretiens d’embauche, tests en ligne, examens et certifications. Ces questions et réponses sur le framework Apache Spark comprennent divers sujets tel que les bases du framework Apache Spark, Hadoop, MapReduce, Requêtes interactives, traitement en flux, ETL, Big Data, etc…. Et sont tirés d’un vrai entretien écrit et certaines parties sont en direct. Cette méthode d’apprentissage systématique préparera facilement toute personne pour réussir son test sur le framework Apache Spark.

1. Spark SQL joue un rôle important dans l’optimisation des requêtes.

A Vrai

B Faux

C Peut-être

D Je ne sais pas!

Vrai, Spark SQL joue un rôle important dans l’optimisation des requêtes.

2. L’optimiseur est basé sur la programmation fonctionnelle en ______.

A R

B Python

C Scala

D Java

L’optimiseur est basé sur la programmation fonctionnelle en Scala.

3. Catalyst Optimizer prend en charge l’optimisation basée sur les règles et sur les coûts.

A Vrai

B Faux

C Peut-être

D Je ne sais pas!

4. Lequel des éléments suivants n’est pas une phase d’exécution d’une requête SQL Spark ?

A Analyse

B Optimisation logique

C Planification physique

D Exécution

Les quatre phases d’une transformation que Catalyst réalise sont les suivantes :

Analyse: La première phase de l’optimisation de Spark SQL est l’analyse. Spark SQL commence avec une relation à traiter qui peut être de deux façons. Une forme sérieuse à partir d’un AST (abstract syntax tree) retourné par un parser SQL, et d’autre part à partir d’un objet DataFrame de l’API Spark SQL.

Optimisation logique: La deuxième phase est le plan d’optimisation logique. Dans cette phase, l’optimisation basée sur des règles est appliquée au plan logique. Il est possible d’ajouter facilement de nouvelles règles.

Plan physique: Dans la phase de plan physique, Spark SQL prend le plan logique et génère un ou plusieurs plans physiques en utilisant les opérateurs physiques qui correspondent au moteur d’exécution Spark. Le plan à exécuter est sélectionné à l’aide du modèle basé sur les coûts (comparaison entre les coûts des modèles).

Génération du code: La génération de code est la phase finale de l’optimisation de Spark SQL. Pour s’exécuter sur chaque machine, il est nécessaire de générer le bytecode du code Java.

5. Lequel des énoncés suivants n’est pas vrai pour Catalyst Optimizer ?

A Catalyst Optimizer utilise une fonction de correspondance des formes.

B Catalyst contient une arbre et l’ensemble des règles pour manipuler l’arbre.

C Il n’y a pas de bibliothèques spécifiques pour traiter les requêtes relationnelles.

D Il existe différents ensembles de règles qui traitent différentes phases de la requête.

6. Dans la phase de planification physique de l’optimisation des requêtes, nous pouvons utiliser l’optimisation basée sur les coûts et l’optimisation basée sur les règles.

A Vrai

B Faux

C Peut-être

D Je ne sais pas!

Dans la phase de planification physique de l’optimisation des requêtes, nous pouvons utiliser l’optimisation basée sur les coûts et l’optimisation basée sur les règles.

7. Lequel des énoncés suivants n’est pas vrai pour DataFrame ?

A DataFrame dans Apache Spark est derrière RDD

B Nous pouvons construire un DataFrame à partir de différentes sources de données : fichier de données structuré, tables dans Hive, etc…

C L’interface de programmation d’application (API) de DataFrame est disponible dans plusieurs langages.

D Que ce soit en Scala ou en Java, nous représentons le DataFrame comme un ensemble de lignes de données.

8. Nous pouvons créer des DataFrame en utilisant __________

A Tables dans Hive

B Des fichiers de données structurés

C Des bases de données externes

D Toutes les réponses sont vraies

9. Laquelle des structures suivantes est la structure de données fondamentale de Spark ?

A DataFrame

B Dataset

C RDD

D Aucune de ces réponses

10. Lequel des éléments suivants organise les données dans une colonne nommée ?

A DataFrame

B Dataset

C RDD

D Aucune de ces réponses

A, B

QCMs qui pourraient vous intéresser :

1. Spark SQL joue un rôle important dans l’optimisation des requêtes.

2. L’optimiseur est basé sur la programmation fonctionnelle en ______.

3. Catalyst Optimizer prend en charge l’optimisation basée sur les règles et sur les coûts.

4. Lequel des éléments suivants n’est pas une phase d’exécution d’une requête SQL Spark ?

5. Lequel des énoncés suivants n’est pas vrai pour Catalyst Optimizer ?

6. Dans la phase de planification physique de l’optimisation des requêtes, nous pouvons utiliser l’optimisation basée sur les coûts et l’optimisation basée sur les règles.

7. Lequel des énoncés suivants n’est pas vrai pour DataFrame ?

8. Nous pouvons créer des DataFrame en utilisant __________

9. Laquelle des structures suivantes est la structure de données fondamentale de Spark ?

10. Lequel des éléments suivants organise les données dans une colonne nommée ?

Vous pourrez aussi aimer

QCM Apache Spark Corrigé – Partie 4

QCM Apache Spark Corrigé – Partie 6

QCM Apache Spark Corrigé – Partie 3

Laisser un commentaire Annuler la réponse