Weiter zum Inhalt

Startseite Spark

Kurs

Datenbereinigung mit PySpark

ExperteSchwierigkeitsgrad

Aktualisiert 02/2026

Lerne, wie du Daten mit Apache Spark in Python bereinigen kannst.

Kurs kostenlos starten

SparkData Preparation

4 Std.

16 Videos

53 Übungen

4,150 XP

33,187

Leistungsnachweis

Beliebt bei Lernenden in Tausenden Unternehmen

Ein Team schulen?

Für Unternehmen ausprobieren

Kursbeschreibung

Mit Daten zu arbeiten ist knifflig – mit Millionen oder sogar Milliarden von Zeilen erst recht. Hast du Datenverarbeitungscode bekommen, der auf einem Laptop mit ziemlich sauberen Daten geschrieben wurde? Wahrscheinlich sollst du jetzt einen einfachen Datenprozess vom Prototyp in die Produktion überführen. Vielleicht hast du bereits mit realen Datensätzen gearbeitet – mit fehlenden Feldern, merkwürdigen Formaten und um Größenordnungen mehr Daten. Selbst wenn das alles neu für dich ist, zeigt dir dieser Kurs, wie du Datenprozesse in Python mit Apache Spark vorbereitest. Du lernst die wichtigsten Begriffe, Methoden und Best Practices kennen, um eine performante, wartbare und gut verständliche Datenverarbeitungsplattform aufzubauen.

Voraussetzungen

Intermediate Python Introduction to PySpark

1

DataFrame-Grundlagen

Eine Auffrischung der DataFrame-Grundlagen und warum Datenbereinigung so wichtig ist.

Einführung in das Data Cleaning mit Apache Spark

Wiederholung: Datenbereinigung

Ein Schema definieren

Unveränderlichkeit und Lazy Processing

Rückblick: Unveränderlichkeit

Lazy Processing verwenden

Parquet verstehen

Ein DataFrame im Parquet-Format speichern

SQL und Parquet

Kapitel starten

2

DataFrames in der Praxis manipulieren

Verschiedene Techniken, um Inhalte von DataFrames in Spark zu verändern.

DataFrame-Spaltenoperationen

Spalteninhalte mit Python filtern

Filter-Frage #1

Filter-Frage Nr. 2

DataFrame-Spalten ändern

Bedingte Spaltenoperationen mit DataFrames

Beispiel zu when()

When / Otherwise

Benutzerdefinierte Funktionen

User-Defined Functions verstehen

User-Defined Functions in Spark verwenden

Partitionierung und Lazy Processing

Ein ID-Feld hinzufügen

IDs mit unterschiedlichen Partitionen

Noch mehr ID-Tricks

Kapitel starten

3

Leistung steigern

Optimiere Aufgaben der Datenbereinigung durch bessere Performance oder geringeren Ressourcenbedarf.

Ein DataFrame cachen

Ein DataFrame aus dem Cache entfernen

Importleistung verbessern

Optimierung der Dateigröße

Leistung beim Dateiimport

Clusterkonfigurationen

Spark-Konfigurationen auslesen

Spark-Konfigurationen schreiben

Leistungsverbesserungen

Normale Joins

Broadcasting bei Spark-Joins verwenden

Vergleich: Broadcast-Join vs. normaler Join

Kapitel starten

4

Komplexe Verarbeitung und Daten-Pipelines

Lerne, wie du komplexe realweltliche Daten mit Spark verarbeitest und die Grundlagen von Pipelines.

Einführung in Datenpipelines

Schnelle Pipeline

Problem mit Pipeline-Daten

Techniken zur Datenverarbeitung

Kommentarzeilen entfernen

Ungültige Zeilen entfernen

In Spalten aufteilen

Weiteres Parsen

Datenvalidierung

Zeilen per Join validieren

Ungültige Zeilen untersuchen

Abschließende Analyse und Auslieferung

Hunde parsen

Anzahl pro Bild

Prozentualer Anteil Hundepixel

Glückwunsch – so geht’s weiter

Kapitel starten

Datenbereinigung mit PySpark

Kurs
abgeschlossen

Leistungsnachweis verdienen

Füge diesen Fähigkeitsnachweis zu deinem LinkedIn-Profil, Anschreiben oder Lebenslauf hinzu
Teile es auf Social Media und in deiner LeistungsbeurteilungJetzt anmelden

Schließe dich 19 Millionen Lernenden an und starte Datenbereinigung mit PySpark heute!

DataCamp gibt es auch für Mobilgeräte

Mit unseren Kursen für Mobilgeräte und täglichen Programmier-Challenges erweiterst du deine Datenkompetenz von unterwegs.