Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Apprendre Spark SQL
Si vous maîtrisez le langage SQL et avez entendu parler des avantages d'Apache Spark, ce cours est fait pour vous. Apache Spark est un framework informatique destiné au traitement des mégadonnées, et Spark SQL est un composant d'Apache Spark. Ce cours de quatre heures vous montrera comment exploiter Spark à un niveau supérieur, en utilisant des fonctionnalités SQL avancées, telles que les fonctions de fenêtre.Au fil de quatre chapitres, vous utiliserez Spark SQL pour analyser des données chronologiques, extraire les mots les plus courants d'un document texte, créer des ensembles de caractéristiques à partir d'un texte en langage naturel et les utiliser pour prédire le dernier mot d'une phrase à l'aide d'une régression logistique.
Découvrez les utilisations de Spark SQL
Vous commencerez par créer et interroger une table SQL dans Spark, et vous apprendrez à utiliser les fonctions de fenêtre SQL pour effectuer des sommes cumulées, des différences cumulées et d'autres opérations.Ensuite, vous découvrirez comment utiliser la fonction window dans Spark SQL pour le traitement du langage naturel, notamment en utilisant une analyse de fenêtre mobile pour trouver des séquences de mots courantes.
Dans le chapitre 3, vous apprendrez à utiliser l'interface utilisateur SQL Spark pour mettre correctement en cache les DataFrame et les tableaux SQL avant d'explorer les meilleures pratiques en matière de journalisation dans Spark.
Enfin, vous utilisez toutes les compétences acquises jusqu'à présent pour charger et tokeniser le texte brut avant d'extraire des séquences de mots. Vous utiliserez ensuite la régression logistique pour classer le texte, en utilisant des données brutes en langage naturel pour former un classificateur de texte.
Obtenez une introduction complète à Spark SQL
À la fin du cours, vous aurez acquis une solide compréhension de Spark SQL et saurez comment Spark combine la puissance du calcul distribué avec la facilité d'utilisation de Python et SQL.Prérequis
Programme de formation
Plan du cours
1
PySpark SQL
Dans ce chapitre, vous apprendrez à créer et interroger une table SQL dans Spark. Spark SQL apporte l’expressivité de SQL à Spark. Vous verrez aussi comment utiliser les fonctions de fenêtre SQL dans Spark. Les fonctions de fenêtre effectuent des calculs sur des lignes liées à la ligne courante. Elles simplifient grandement des résultats difficiles à obtenir avec de simples jointures et agrégations classiques. Nous utiliserons des fonctions de fenêtre pour calculer des cumuls progressifs, des différences successives et d’autres opérations qui sont délicates en SQL de base.
- Créer et interroger une table SQL dans Spark50 XP
- Créer une table SQL à partir d’un dataframe100 XP
- Déterminer les noms des colonnes d’une table100 XP
- Fonctions fenêtre en SQL50 XP
- Sommes cumulatives avec les fonctions de fenêtre en SQL100 XP
- Corriger la requête défectueuse100 XP
- Notation par points et SQL50 XP
- Agrégation, étape par étape100 XP
- Agrégations multiples sur la même colonne100 XP
- Agrégat SQL en notation par points100 XP
- Convertir une fonction window de la notation par points vers SQL100 XP
2
Utiliser les fonctions de fenêtre SQL pour le traitement du langage naturel
Dans ce chapitre, vous chargerez du texte en langage naturel. Vous appliquerez ensuite une analyse avec fenêtre glissante pour trouver des séquences de mots fréquentes.
3
Mise en cache, journalisation et interface Spark
Dans les chapitres précédents, vous avez appris à exploiter l’expressivité des fonctions de fenêtre en SQL. Cette expressivité rend désormais essentiel de savoir mettre correctement en cache les DataFrames et les tables SQL. Il est aussi important de savoir évaluer votre application. Vous apprendrez à le faire avec l’interface Spark. Vous verrez également une bonne pratique de journalisation dans Spark. Spark SQL apporte un autre outil utile pour optimiser les performances des requêtes : le plan d’exécution. Vous apprendrez à utiliser ce plan pour évaluer la provenance d’un DataFrame.
4
Classification de texte
Les chapitres précédents vous ont donné les outils pour charger du texte brut, le tokeniser et extraire des séquences de mots. C’est déjà très utile pour l’analyse, mais cela l’est aussi pour le Machine Learning. Ce que vous avez appris se concrétise ici avec l’utilisation d’une régression logistique pour classer du texte. À la fin de ce chapitre, vous aurez chargé des données textuelles brutes en langage naturel et les aurez utilisées pour entraîner un classifieur de texte.
Introduction à Spark SQL en Python
Cours
terminé
