Einführung in Spark SQL mit Python

Lerne Spark SQL

Wenn du dich mit SQL auskennst und schon viel Gutes über Apache Spark gehört hast, ist dieser Kurs genau das Richtige für dich. Apache Spark ist ein Rechenframework für die Verarbeitung von Big Data, und Spark SQL ist ein Teil von Apache Spark. In diesem vierstündigen Kurs lernst du, wie du Spark mit fortgeschrittenen SQL-Funktionen wie Fensterfunktionen noch besser nutzen kannst.

In vier Kapiteln lernst du, wie du mit Spark SQL Zeitreihendaten analysierst, die häufigsten Wörter aus einem Textdokument herausziehst, Merkmalsätze aus natürlichem Sprachtext erstellst und diese nutzt, um das letzte Wort in einem Satz mithilfe logistischer Regression vorherzusagen.

Entdecke die Einsatzmöglichkeiten von Spark SQL

Du fängst damit an, eine SQL-Tabelle in Spark zu erstellen und abzufragen. Außerdem lernst du, wie du SQL-Fensterfunktionen für laufende Summen, laufende Differenzen und andere Operationen nutzen kannst.

Als Nächstes lernst du, wie du die Fensterfunktion in Spark SQL für die Verarbeitung natürlicher Sprache nutzen kannst, zum Beispiel mit einer Analyse mit gleitendem Fenster, um häufige Wortfolgen zu finden.

In Kapitel 3 lernst du, wie du mit der SQL Spark-Benutzeroberfläche DataFrame und SQL-Tabellen richtig zwischenspeicherst, bevor du dich mit den Best Practices für die Protokollierung in Spark beschäftigst.

Zum Schluss nutzt du alle bisher erlernten Fähigkeiten, um Rohtext zu laden und zu tokenisieren, bevor du Wortsequenzen extrahierst. Dann wirst du logistische Regression nutzen, um den Text zu klassifizieren, indem du mit rohen Daten in natürlicher Sprache einen Textklassifikator trainierst.

Hol dir eine gründliche Einführung in Spark SQL

Am Ende des Kurses wirst du Spark SQL richtig gut verstehen und wissen, wie Spark die Leistung von verteiltem Rechnen mit der Benutzerfreundlichkeit von Python und SQL kombiniert.