Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Trabalhar com dados é complicado - trabalhar com milhões ou até bilhões de linhas é pior ainda.
Você recebeu algum código de processamento de dados escrito em um laptop com dados razoavelmente originais?
É provável que você já tenha sido encarregado de mover um processo de dados básicos do protótipo para a produção.
Você pode ter trabalhado com conjuntos de dados do mundo real, com campos ausentes, formatação bizarra e ordens de magnitude de dados maiores. Mesmo que tudo isso seja novo para você, este curso o ajudará a aprender o que é necessário para preparar processos de dados usando Python com o Apache Spark.
Você aprenderá a terminologia, os métodos e algumas práticas recomendadas para criar uma plataforma de processamento de dados eficiente, sustentável e compreensível.
Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Detalhes do DataFrame
Uma revisão dos fundamentos do DataFrame e da importância da limpeza de dados.
- Introdução à limpeza de dados com o Apache Spark50 XP
- Revisão da limpeza de dados50 XP
- Definição de um esquema100 XP
- Imutabilidade e processamento preguiçoso50 XP
- Revisão da imutabilidade50 XP
- Usando o processamento preguiçoso100 XP
- Entendendo o Parquet50 XP
- Salvando um DataFrame no formato Parquet100 XP
- SQL e Parquet100 XP
2
Manipulando DataFrames no mundo real
Uma olhada em várias técnicas para modificar o conteúdo de DataFrames no Spark.
3
Melhorando o desempenho
Aprimore as tarefas de limpeza de dados aumentando o desempenho ou reduzindo os requisitos de recursos.
4
Processamento complexo e pipelines de dados
Aprenda a processar dados complexos do mundo real usando o Spark e os conceitos básicos de pipelines.
Limpeza de dados com o PySpark
Curso
concluído
