Streaming de dados Kafka(ndo) em tempo real

Alex Coqueiro

Streaming de dados Kafka(ndo) em tempo real

Streaming de dados vem sendo utilizada para uma vasta variedade de casos de uso incluindo processamento de eventos, coordenação de transações distribuídas, tratamento de requisições de IoT, manipulação de logs e execução de cargas analíticas em tempo real. A importância é tamanha que jogos como Hay Day, Clash of Clans e Boom Beach vem escalando arquiteturas que lidam com 45 bilhões de eventos ao dia.

Nesta seção iremos aplicar na prática os conceitos de arquitetura orientada a eventos utilizando streaming de dados habilitando a tomada de decisões em tempo real usando o open source Apache Kafka na nuvem. Iremos analisar dados de forma contínua armazenando, processando e analisando dados para soluções em larga escala.

Tópicos:

  • Fundamentos de “Streaming de Dados”
  • Casos de Uso
  • Provisionamento de infra-estrutura com Apache Kafka na nuvem
  • Gerenciando dados em tempo real usando API’s em Python e Java
  • Demonstração prática usando dados de telemetria com drones
  • Demonstração prática usando dados de telemetria com drones