Pular para o conteúdo principal

Curso

Limpeza de dados com o PySpark

AvançadoNível de habilidade

Atualizado 02/2026

Saiba como tratar dados com o Apache Spark em Python.

Iniciar curso gratuitamente

SparkData Preparation

4 h

16 vídeos

53 Exercícios

4,150 XP

33,187

Declaração de realização

Preferido por alunos de milhares de empresas

Treinando uma equipe?

Experimente para Empresas

Descrição do curso

Trabalhar com dados é complicado - trabalhar com milhões ou até bilhões de linhas é pior ainda. Você recebeu algum código de processamento de dados escrito em um laptop com dados razoavelmente originais? É provável que você já tenha sido encarregado de mover um processo de dados básicos do protótipo para a produção. Você pode ter trabalhado com conjuntos de dados do mundo real, com campos ausentes, formatação bizarra e ordens de magnitude de dados maiores. Mesmo que tudo isso seja novo para você, este curso o ajudará a aprender o que é necessário para preparar processos de dados usando Python com o Apache Spark. Você aprenderá a terminologia, os métodos e algumas práticas recomendadas para criar uma plataforma de processamento de dados eficiente, sustentável e compreensível.

Pré-requisitos

Intermediate Python Introduction to PySpark

1

Detalhes do DataFrame

Uma revisão dos fundamentos do DataFrame e da importância da limpeza de dados.

Introdução à limpeza de dados com o Apache Spark

Revisão da limpeza de dados

Definição de um esquema

Imutabilidade e processamento preguiçoso

Revisão da imutabilidade

Usando o processamento preguiçoso

Entendendo o Parquet

Salvando um DataFrame no formato Parquet

SQL e Parquet

Iniciar capítulo

2

Manipulando DataFrames no mundo real

Uma olhada em várias técnicas para modificar o conteúdo de DataFrames no Spark.

Operações de coluna DataFrame

Filtrando o conteúdo da coluna com Python

Pergunta de filtragem nº 1

Pergunta de filtragem nº 2

Modificando colunas do DataFrame

Operações condicionais de coluna do DataFrame

Exemplo de when()

Quando / Caso contrário

Funções definidas pelo usuário

Compreensão das funções definidas pelo usuário

Usando funções definidas pelo usuário no Spark

Particionamento e processamento preguiçoso

Adicionando um campo ID

IDs com partições diferentes

Mais truques do ID

Iniciar capítulo

3

Melhorando o desempenho

Aprimore as tarefas de limpeza de dados aumentando o desempenho ou reduzindo os requisitos de recursos.

Armazenamento em cache

Armazenamento em cache de um DataFrame

Removendo um DataFrame do cache

Melhorar o desempenho da importação

Otimização do tamanho do arquivo

Desempenho da importação de arquivos

Configurações do cluster

Lendo as configurações do Spark

Escrevendo configurações do Spark

Melhorias no desempenho

Uniões normais

Usando a transmissão nas uniões do Spark

Comparação de uniões de transmissão com uniões normais

Iniciar capítulo

4

Processamento complexo e pipelines de dados

Aprenda a processar dados complexos do mundo real usando o Spark e os conceitos básicos de pipelines.

Introdução aos pipelines de dados

Pipeline rápido

Problema de dados do pipeline

Técnicas de manipulação de dados

Remoção de linhas comentadas

Remoção de linhas inválidas

Divisão em colunas

Análise adicional

Validação dos dados

Validar linhas por meio de junção

Exame de linhas inválidas

Análise final e entrega

Análise de cães

Por contagem de imagens

Porcentagem de pixels de cães

Parabéns e próximas etapas

Iniciar capítulo

Limpeza de dados com o PySpark

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se agora

Faça como mais de 19 milhões de alunos e comece Limpeza de dados com o PySpark hoje mesmo!

Desenvolva suas habilidades em dados com o app do DataCamp

Continue progredindo em qualquer lugar com nossos cursos para celular e desafios diários de programação de 5 minutos.