Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
O que alimenta os sistemas que usamos todos os dias sem perceber, como a detecção de fraudes para manter nossas transações seguras ou os sinais de trânsito que mantêm o tráfego fluindo sem problemas? A resposta são os dados de streaming (dados gerados continuamente por diferentes fontes) e as tecnologias sem servidor, como o Amazon Kinesis e o AWS Lambda.
Neste curso, você aprenderá a aproveitar essas tecnologias poderosas ajudando um engenheiro de dados fictício chamado Cody. Seu objetivo é ajudá-la a coletar dados de streaming em tempo real de veículos de propriedade da cidade, analisar os dados e enviar alertas relevantes, como avisos de velocidade aos motoristas. Usando o Amazon Kinesis e o Firehose, você aprenderá a ingerir dados de milhões de fontes antes de usar o Kinesis Analytics para analisar os dados à medida que eles passam pelo fluxo. Você também criará funções sem servidor no AWS Lambda que acionarão condicionalmente ações com base nos dados recebidos. Ao final deste treinamento, você saberá como criar dashboards do ElasticSearch ao vivo com o AWS QuickSight e o CloudWatch e, com sorte, ajudará Cody a concluir seu ambicioso projeto.
Neste curso, você aprenderá a aproveitar essas tecnologias poderosas ajudando um engenheiro de dados fictício chamado Cody. Seu objetivo é ajudá-la a coletar dados de streaming em tempo real de veículos de propriedade da cidade, analisar os dados e enviar alertas relevantes, como avisos de velocidade aos motoristas. Usando o Amazon Kinesis e o Firehose, você aprenderá a ingerir dados de milhões de fontes antes de usar o Kinesis Analytics para analisar os dados à medida que eles passam pelo fluxo. Você também criará funções sem servidor no AWS Lambda que acionarão condicionalmente ações com base nos dados recebidos. Ao final deste treinamento, você saberá como criar dashboards do ElasticSearch ao vivo com o AWS QuickSight e o CloudWatch e, com sorte, ajudará Cody a concluir seu ambicioso projeto.
Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Streaming na nuvem
Neste primeiro capítulo, você aprenderá sobre as diferenças entre processamento em lote e em fluxo, criará seu primeiro fluxo, gerenciará suas permissões, gravará nele e lerá a partir dele.
- O que é streaming e por que ele é importante?50 XP
- Lote vs. fluxo100 XP
- Produtores e destinos100 XP
- Gerenciar fluxos de fornecimento do Firehose100 XP
- Preparando-se para a primeira transmissão50 XP
- Criação de funções50 XP
- IAM usuários vs. funções100 XP
- Prática de permissões100 XP
- Criação de bucket S3100 XP
- Trabalhando com o fluxo de entrega do Firehose50 XP
- Crie seu primeiro fluxo do Firehose100 XP
- Gravação em um fluxo do Firehose100 XP
- Leitura de dados do Firehose100 XP
2
Tornando-se sem servidor
A próxima etapa da sua jornada de dados de streaming é aprender a usar funções lambda transformacionais para ficar sem servidor. Por meio de exercícios práticos, você adicionará camadas lambda e acionará funções lambda em condições específicas.
3
Análise de dados de fluxo contínuo
Agora você está pronto para codificar e decodificar dados de streaming e analisar dados diretamente no streaming. Você ainda usará vários fluxos para obter as velocidades máximas diárias dos veículos.
4
Monitoramento e visualização de dados de streaming
Neste capítulo final, você descobrirá como monitorar o desempenho do seu fluxo usando logs, métricas, alarmes e painéis. Você usará o Elasticsearch e criará seu próprio painel do Kibana.
Streaming de dados com AWS Kinesis e Lambda
Curso
concluído
