Ir al contenido principal

Curso

Limpiar datos con PySpark

AvanzadoNivel de habilidad

Actualizado 2/2026

Aprende a limpiar datos con Apache Spark en Python.

Comienza el curso gratis

SparkData Preparation

4 h

16 vídeos

53 Ejercicios

4,150 XP

33,177

Certificado de logros

Preferido por estudiantes en miles de empresas

¿Formando un equipo?

Prueba para empresas

Descripción del curso

Trabajar con datos es complicado; trabajar con millones o incluso miles de millones de filas es peor. ¿Recibiste algún código de procesamiento de datos escrito en un ordenador portátil con datos bastante prístinos? Es probable que te hayan encargado pasar un proceso de datos básico del prototipo a la producción. Puede que hayas trabajado con conjuntos de datos del mundo real, con campos que faltan, formatos extraños y órdenes de magnitud de más datos. Aunque todo esto sea nuevo para ti, este curso te ayuda a aprender lo necesario para preparar procesos de datos utilizando Python con Apache Spark. Aprenderás terminología, métodos y algunas buenas prácticas para crear una plataforma de procesamiento de datos eficaz, mantenible y comprensible.

Requisitos previos

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Iniciar capítulo

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Iniciar capítulo

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Iniciar capítulo

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Iniciar capítulo

Limpiar datos con PySpark

Curso
completo

Obtener certificado de logros

Añade esta certificación a tu perfil de LinkedIn o a tu currículum.
Compártelo en redes sociales y en tu evaluación de desempeño.Inscríbete ahora

¡Únete a 19 millones de estudiantes y empieza Limpiar datos con PySpark hoy mismo!

Desarrolla tus habilidades de datos con la aplicación móvil de DataCamp

Progresa desde cualquier dispositivo móvil con nuestros cursos y desafíos de programación diarios de 5 minutos.