Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Aprenda Spark SQL
Se você conhece SQL e já ouviu falar muito bem do Apache Spark, esse curso é pra você. O Apache Spark é uma estrutura de computação para processar big data, e o Spark SQL é um componente do Apache Spark. Este curso de quatro horas vai te mostrar como levar o Spark a um novo nível de utilidade, usando recursos avançados de SQL, como funções de janela.Ao longo de quatro capítulos, você vai usar o Spark SQL pra analisar dados de séries temporais, extrair as palavras mais comuns de um documento de texto, criar conjuntos de recursos a partir de texto em linguagem natural e usá-los pra prever a última palavra de uma frase usando regressão logística.
Descubra os usos do Spark SQL
Você vai começar criando e consultando uma tabela SQL no Spark, além de aprender a usar funções de janela SQL para fazer somas acumuladas, diferenças acumuladas e outras operações.Depois, você vai ver como usar a função window no Spark SQL para processamento de linguagem natural, incluindo o uso de uma análise de janela móvel para encontrar sequências de palavras comuns.
No capítulo 3, você vai aprender a usar a interface do usuário do SQL Spark para armazenar em cache DataFrame e tabelas SQL da maneira certa antes de ver as melhores práticas para registro em log no Spark.
Por fim, você usa todas as habilidades aprendidas até agora para carregar e tokenizar o texto bruto antes de extrair sequências de palavras. Você vai usar a regressão logística pra classificar o texto, usando dados brutos de linguagem natural pra treinar um classificador de texto.
Tenha uma introdução completa ao Spark SQL
No final do curso, você vai entender bem o Spark SQL e saber como o Spark junta o poder da computação distribuída com a facilidade de usar Python e SQL.Pré-requisitos
Programa de estudos
Conteúdo do curso
1
PySpark SQL
Neste capítulo, você vai aprender a criar e consultar uma tabela SQL no Spark. O Spark SQL traz a expressividade do SQL para o Spark. Você também vai aprender a usar funções de janela em SQL no Spark. Funções de janela fazem cálculos entre linhas relacionadas à linha atual. Elas simplificam muito a obtenção de resultados que seriam difíceis de expressar usando apenas joins e agregações tradicionais. Usaremos funções de janela para realizar somas acumuladas, diferenças acumuladas e outras operações que são desafiadoras de fazer em SQL básico.
- Criando e consultando uma tabela SQL no Spark50 XP
- Crie uma tabela SQL a partir de um dataframe100 XP
- Descobrir os nomes das colunas de uma tabela100 XP
- SQL com funções de janela50 XP
- Somas acumuladas usando funções de janela em SQL100 XP
- Corrigir a consulta com erro100 XP
- Notação de ponto e SQL50 XP
- Agregação, passo a passo100 XP
- Agregando a mesma coluna duas vezes100 XP
- Agregação com notação de ponto em SQL100 XP
- Converter função window da notação de ponto para SQL100 XP
2
Usando funções de janela em SQL para Processamento de Linguagem Natural
Neste capítulo, você vai carregar texto em linguagem natural. Em seguida, aplicará uma análise com janela deslizante para encontrar sequências frequentes de palavras.
3
Cache, Logging e a Spark UI
Nos capítulos anteriores, você aprendeu a usar a expressividade do SQL com funções de janela. Porém, essa expressividade agora torna importante entender como fazer cache corretamente de dataframes e tabelas SQL. Também é importante saber como avaliar sua aplicação. Você aprenderá a fazer isso usando a Spark UI. Você também vai conhecer uma prática recomendada para logging no Spark. O Spark SQL traz outra ferramenta útil para ajustar problemas de desempenho de consultas: o plano de execução. Você aprenderá a usar o plano de execução para avaliar a proveniência de um dataframe.
4
Classificação de Texto
Os capítulos anteriores forneceram as ferramentas para carregar texto bruto, tokenizá-lo e extrair sequências de palavras. Isso já é muito útil para análise, mas também é útil para Machine Learning. Agora, tudo o que você aprendeu se integra usando regressão logística para classificar texto. Ao concluir este capítulo, você terá carregado dados brutos de linguagem natural e os usado para treinar um classificador de texto.
Introdução ao Spark SQL em Python
Curso
concluído
