Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
El big data ha causado mucho alboroto en los últimos años, y por fin es dominante en muchas empresas. Sin embargo, ¿qué es este big data? Este curso muestra los fundamentos del big data mediante PySpark. Spark es un marco de "Lightning-Fast Cluster Computing" para big data. Proporciona un motor de plataforma general de procesamiento de datos y te permite ejecutar programas hasta 100 veces más rápidamente en memoria, o 10 veces más rápido en disco, que Hadoop. Utilizarás PySpark, un paquete de Python para programación en Spark y sus potentes bibliotecas de nivel superior, como SparkSQL, MLlib (para machine learning), etc. Explorarás las obras de William Shakespeare, analizarás datos de 2018 de la FIFA y realizarás agrupamiento en conjuntos de datos genómicos. Al final de este curso, conocerás a la perfección PySpark y su aplicación al análisis general de big data.
Requisitos previos
Programa de formación
Contenido del curso
1
Introducción al análisis de big data con Spark
Este capítulo presenta el apasionante mundo del big data, así como los diversos conceptos y los diferentes marcos para procesar big data. Comprenderás por qué Apache Spark se considera el mejor marco para big data.
2
Programación en RDD de PySpark
La principal abstracción que proporciona Spark es un conjunto de datos distribuidos resilientes (RDD), que es el tipo de datos fundamental y vertebrador de este motor. Este capítulo presenta los RDD y muestra cómo pueden crearse y ejecutarse RDD mediante transformaciones y acciones de RDD.
3
PySpark SQL y DataFrames
En este capítulo obtendrás información sobre Spark SQL, que es un módulo de Spark para el procesamiento de datos estructurados. Proporciona una abstracción de programación llamada DataFrames y también puede actuar como motor de consultas SQL distribuido. Este capítulo muestra que Spark SQL te permite utilizar DataFrames en Python.
4
Machine learning con PySpark MLlib
PySpark MLlib es la biblioteca de machine learning escalable de Apache Spark en Python, con utilidades y algoritmos de aprendizaje comunes. A lo largo de este último capítulo, aprenderás importantes algoritmos de machine learning. Crearas un motor de recomendación de películas y un filtro de spam, y utilizarás k-medias.
Fundamentos de big data con PySpark
Curso
completado
