Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
Aprende Spark SQL
Si estás familiarizado con SQL y has oído cosas muy buenas sobre Apache Spark, este curso es para ti. Apache Spark es un marco informático para procesar grandes volúmenes de datos, y Spark SQL es un componente de Apache Spark. Este curso de cuatro horas te enseñará cómo llevar Spark a un nuevo nivel de utilidad mediante el uso de funciones SQL avanzadas, como las funciones de ventana.A lo largo de cuatro capítulos, utilizarás Spark SQL para analizar datos de series temporales, extraer las palabras más comunes de un documento de texto, crear conjuntos de características a partir de texto en lenguaje natural y utilizarlos para predecir la última palabra de una frase mediante regresión logística.
Descubre los usos de Spark SQL
Comenzarás creando y consultando una tabla SQL en Spark, además de aprender a utilizar las funciones de ventana SQL para realizar sumas acumuladas, diferencias acumuladas y otras operaciones.A continuación, explorarás cómo utilizar la función de ventana en Spark SQL para el procesamiento del lenguaje natural, incluido el uso de un análisis de ventana móvil para encontrar secuencias de palabras comunes.
En el capítulo 3, aprenderás a utilizar la interfaz de usuario de SQL Spark para almacenar correctamente en caché los DataFrame y las tablas SQL antes de explorar las prácticas recomendadas para el registro en Spark.
Por último, utilizas todas las habilidades aprendidas hasta ahora para cargar y tokenizar el texto sin procesar antes de extraer secuencias de palabras. A continuación, utilizarás la regresión logística para clasificar el texto, utilizando datos de lenguaje natural sin procesar para entrenar un clasificador de texto.
Obtén una introducción completa a Spark SQL.
Al finalizar el curso, tendrás un conocimiento sólido de Spark SQL y comprenderás cómo Spark combina la potencia de la computación distribuida con la facilidad de uso de Python y SQL.Requisitos previos
Programa de formación
Contenido del curso
1
PySpark SQL
En este capítulo aprenderás a crear y consultar una tabla SQL en Spark. Spark SQL aporta la expresividad de SQL a Spark. También verás cómo usar funciones de ventana en SQL dentro de Spark. Las funciones de ventana realizan un cálculo sobre filas relacionadas con la fila actual. Simplifican mucho la obtención de resultados que son difíciles de expresar solo con joins y agregaciones tradicionales. Usaremos funciones de ventana para realizar sumas acumuladas, diferencias acumuladas y otras operaciones que son complejas en SQL básico.
- Crear y consultar una tabla SQL en Spark50 XP
- Crear una tabla SQL a partir de un dataframe100 XP
- Determinar los nombres de las columnas de una tabla100 XP
- SQL con funciones de ventana50 XP
- Sumas acumuladas con funciones de ventana en SQL100 XP
- Corrige la consulta rota100 XP
- Notación por puntos y SQL50 XP
- Agregación, paso a paso100 XP
- Agrupar agregando la misma columna dos veces100 XP
- SQL de agregación con notación por puntos100 XP
- Convierte la función window de notación de puntos a SQL100 XP
2
Uso de funciones de ventana SQL para procesamiento de lenguaje natural
En este capítulo, cargarás texto en lenguaje natural. Luego aplicarás un análisis con ventana deslizante para encontrar secuencias de palabras frecuentes.
3
Caché, registro y la Spark UI
En los capítulos anteriores aprendiste a usar la expresividad del SQL con funciones de ventana. Sin embargo, precisamente por esa expresividad, ahora es importante que sepas cómo almacenar correctamente en caché los dataframes y las tablas SQL. También es clave saber cómo evaluar tu aplicación. Aprenderás a hacerlo con la Spark UI. Además, verás una práctica recomendada para el registro (logging) en Spark. Spark SQL aporta otra herramienta útil para ajustar problemas de rendimiento en las consultas: el plan de ejecución. Aprenderás a usar el plan de ejecución para evaluar la procedencia de un dataframe.
4
Clasificación de texto
Los capítulos anteriores te dieron las herramientas para cargar texto en bruto, tokenizarlo y extraer secuencias de palabras. Esto ya es muy útil para el análisis, pero también lo es para Machine Learning. Ahora pondrás todo en conjunto usando regresión logística para clasificar texto. Al finalizar este capítulo, habrás cargado datos de texto en lenguaje natural en bruto y los habrás usado para entrenar un clasificador de texto.
Introducción a Spark SQL en Python
Curso
completado
