Accéder au contenu principal

Cours

Nettoyer des données avec PySpark

AvancéNiveau de compétence

Actualisé 02/2026

Apprenez à nettoyer des données avec Apache Spark en Python.

Commencer Le Cours Gratuitement

SparkData Preparation4 h16 vidéos53 Exercices4,150 XP32,829Certificat de réussite.

Créez votre compte gratuit

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données seront hébergées aux États-Unis.

Apprécié par des utilisateurs provenant de milliers d'entreprises

Former 2 personnes ou plus ?

Essayez DataCamp for Business

Description du cours

Travailler avec des données est complexe — et avec des millions, voire des milliards de lignes, c’est encore plus difficile. Avez-vous reçu du code de traitement de données écrit sur un ordinateur portable avec des données assez propres ? Vous êtes sans doute chargé de faire passer un processus de données basique du prototype à la production. Vous avez peut-être travaillé avec des jeux de données réels, comportant des champs manquants, des formats étranges et des volumes de données beaucoup plus importants. Même si tout cela est nouveau pour vous, ce cours vous apprend ce qu’il faut pour préparer des processus de données en Python avec Apache Spark. Vous apprendrez la terminologie, des méthodes et de bonnes pratiques pour créer une plateforme de traitement de données performante, maintenable et compréhensible.

Prérequis

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Commencer Le Chapitre

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Commencer Le Chapitre

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Commencer Le Chapitre

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Commencer Le Chapitre

Nettoyer des données avec PySpark

Cours
terminé

Obtenez un certificat de réussite

Ajoutez cette certification à votre profil LinkedIn, à votre CV ou à votre portfolio
Partagez-la sur les réseaux sociaux et dans votre évaluation de performanceS'inscrire Maintenant

Rejoignez plus de 19 millions d'utilisateurs et commencez Nettoyer des données avec PySpark dès aujourd'hui !

Créez votre compte gratuit

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données seront hébergées aux États-Unis.

Apprenez où que vous soyez avec l'application DataCamp

Progressez où que vous soyez grâce à nos cours conçus pour mobile et à nos défis quotidiens de 5 minutes.