Limpiar datos con PySpark

Trabajar con datos es complicado; trabajar con millones o incluso miles de millones de filas es peor. ¿Recibiste algún código de procesamiento de datos escrito en un ordenador portátil con datos bastante prístinos? Es probable que te hayan encargado pasar un proceso de datos básico del prototipo a la producción. Puede que hayas trabajado con conjuntos de datos del mundo real, con campos que faltan, formatos extraños y órdenes de magnitud de más datos. Aunque todo esto sea nuevo para ti, este curso te ayuda a aprender lo necesario para preparar procesos de datos utilizando Python con Apache Spark. Aprenderás terminología, métodos y algunas buenas prácticas para crear una plataforma de procesamiento de datos eficaz, mantenible y comprensible.