Weiter zum Inhalt

Startseite Spark

Kurs

Datenbereinigung mit PySpark

ExperteSchwierigkeitsgrad

Aktualisiert 02/2026

Lerne, wie du Daten mit Apache Spark in Python bereinigen kannst.

Kurs kostenlos starten

SparkData Preparation4 Std.16 Videos53 Übungen4,150 XP32,841Leistungsnachweis

Kostenloses Konto erstellen

oder

Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.

Beliebt bei Lernenden in Tausenden Unternehmen

Training für 2 oder mehr Personen?

Probiere es mit DataCamp for Business

Kursbeschreibung

Mit Daten zu arbeiten ist knifflig – mit Millionen oder sogar Milliarden von Zeilen erst recht. Hast du Datenverarbeitungscode bekommen, der auf einem Laptop mit ziemlich sauberen Daten geschrieben wurde? Wahrscheinlich sollst du jetzt einen einfachen Datenprozess vom Prototyp in die Produktion überführen. Vielleicht hast du bereits mit realen Datensätzen gearbeitet – mit fehlenden Feldern, merkwürdigen Formaten und um Größenordnungen mehr Daten. Selbst wenn das alles neu für dich ist, zeigt dir dieser Kurs, wie du Datenprozesse in Python mit Apache Spark vorbereitest. Du lernst die wichtigsten Begriffe, Methoden und Best Practices kennen, um eine performante, wartbare und gut verständliche Datenverarbeitungsplattform aufzubauen.

Voraussetzungen

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Kapitel starten

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Kapitel starten

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Kapitel starten

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Kapitel starten

Datenbereinigung mit PySpark

Kurs
abgeschlossen

Leistungsnachweis verdienen

Füge diesen Fähigkeitsnachweis zu Deinem LinkedIn-Profil, Anschreiben oder Lebenslauf hinzu
Teile es auf Social Media und in Deiner LeistungsbeurteilungJetzt anmelden

Schließe dich 19 Millionen Lernenden an und starte Datenbereinigung mit PySpark heute!

Kostenloses Konto erstellen

oder

Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.

DataCamp gibt es auch für Mobilgeräte

Mit unseren Kursen für Mobilgeräte und täglichen Programmier-Challenges erweiterst du deine Datenkompetenz von unterwegs.