Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
Mit Daten zu arbeiten ist knifflig – mit Millionen oder sogar Milliarden von Zeilen erst recht.
Hast du Datenverarbeitungscode bekommen, der auf einem Laptop mit ziemlich sauberen Daten geschrieben wurde?
Wahrscheinlich sollst du jetzt einen einfachen Datenprozess vom Prototyp in die Produktion überführen.
Vielleicht hast du bereits mit realen Datensätzen gearbeitet – mit fehlenden Feldern, merkwürdigen Formaten und um Größenordnungen mehr Daten. Selbst wenn das alles neu für dich ist, zeigt dir dieser Kurs, wie du Datenprozesse in Python mit Apache Spark vorbereitest.
Du lernst die wichtigsten Begriffe, Methoden und Best Practices kennen, um eine performante, wartbare und gut verständliche Datenverarbeitungsplattform aufzubauen.
Voraussetzungen
Lernprogramm
Kursübersicht
1
DataFrame-Grundlagen
Eine Auffrischung der DataFrame-Grundlagen und warum Datenbereinigung so wichtig ist.
- Einführung in das Data Cleaning mit Apache Spark50 XP
- Wiederholung: Datenbereinigung50 XP
- Ein Schema definieren100 XP
- Unveränderlichkeit und Lazy Processing50 XP
- Rückblick: Unveränderlichkeit50 XP
- Lazy Processing verwenden100 XP
- Parquet verstehen50 XP
- Ein DataFrame im Parquet-Format speichern100 XP
- SQL und Parquet100 XP
2
DataFrames in der Praxis manipulieren
Verschiedene Techniken, um Inhalte von DataFrames in Spark zu verändern.
3
Leistung steigern
Optimiere Aufgaben der Datenbereinigung durch bessere Performance oder geringeren Ressourcenbedarf.
4
Komplexe Verarbeitung und Daten-Pipelines
Lerne, wie du komplexe realweltliche Daten mit Spark verarbeitest und die Grundlagen von Pipelines.
Datenbereinigung mit PySpark
Kurs
abgeschlossen
