Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Les mégadonnées ont fait couler beaucoup d'encre ces dernières années, et elles sont enfin devenues monnaie courante pour de nombreuses entreprises. Mais que sont ces mégadonnées ? Ce cours couvre les fondamentaux des mégadonnées via PySpark. Spark est un framework de « calcul de clusters rapide comme l'éclair » pour les mégadonnées. Il fournit un moteur de plateforme de traitement de données général et vous permet d'exécuter des programmes jusqu'à 100 fois plus vite en mémoire, ou 10 fois plus vite sur disque, que Hadoop. Vous utiliserez PySpark, un paquet Python pour la programmation Spark et ses puissantes bibliothèques de plus haut niveau telles que SparkSQL, MLlib (pour le machine learning), etc. Vous explorerez les œuvres de William Shakespeare, analyserez les données de la Fifa 2018 et effectuerez du clustering sur des ensembles de données génomiques. A la fin de ce cours, vous aurez acquis une compréhension approfondie de PySpark et de son application à l'analyse générale des mégadonnées.
Prérequis
Programme de formation
Plan du cours
1
Introduction à l'analyse des mégadonnées avec Spark
Ce chapitre présente le monde passionnant des mégadonnées ou Big Data, ainsi que les différents concepts et frameworks de traitement de ces mégadonnées. Vous comprendrez pourquoi Apache Spark est considéré comme le meilleur framework pour les mégadonnées.
- Que sont les mégadonnées ?50 XP
- Les 3 V des mégadonnées50 XP
- PySpark : Spark avec Python50 XP
- Comprendre SparkContext100 XP
- Utilisation interactive de PySpark100 XP
- Chargement des données dans le shell PySpark100 XP
- Révision de la programmation fonctionnelle en Python50 XP
- Utilisation de lambda() avec map()100 XP
- Utilisation de lambda() avec filter()100 XP
2
Programmer dans les RDD de PySpark
La principale abstraction fournie par Spark est un jeu de données distribué résilient (RDD), qui est le type de données fondamental et l’épine dorsale de ce moteur. Ce chapitre présente les RDD et montre comment créer et exécuter des RDD à l'aide des transformations et actions de RDD.
3
PySpark SQL et DataFrames
Dans ce chapitre, vous découvrirez Spark SQL, qui est un module Spark destiné au traitement des données structurées. Il fournit une abstraction de programmation appelée DataFrame et peut également agir en tant que moteur de requête SQL distribué. Ce chapitre montre comment Spark SQL vous permet d'utiliser des DataFrames en Python.
4
Machine learning avec PySpark MLlib
PySpark MLlib est la bibliothèque de machine learning évolutive d'Apache Spark en Python, composée d'algorithmes d'apprentissage et d'utilitaires courants. Tout au long de ce dernier chapitre, vous apprendrez d'importants algorithmes de machine learning. Vous construirez un moteur de recommandation de films et un filtre anti-spam, et vous utiliserez le clustering k-means (ou k-moyennes).
Principes fondamentaux des mégadonnées avec PySpark
Cours
terminé
