Uma introdução ao Kafka
Uma variedade de configurações de produtores e consumidores pode trabalhar com esse cluster. Por exemplo: o cliente 1 pode produzir para o tópico 1 (atuando como produtor); o cliente 2 pode produzir para o tópico 2 (atuando como produtor); o cliente 3 pode ler dos tópicos 1 e 2 com a finalidade de criar para o tópico 3 (atuando tanto como consumidor como produtor); O cliente 4 pode ler do tópico 3. Em certos casos, pode-se ter um fluxo de dados contínuo e em tempo real para alguns desses tópicos. Por exemplo, o tópico 1 contém leituras de temperatura de vários sensores em uma fábrica, enquanto o tópico 2 tem informações detalhadas sobre esses sensores. Então, o cliente 3 da configuração acima receberia de forma contínua as leituras de temperatura, cruzando os dados com as especificações mais recentes dos sensores, detectando anomalias e reportando-as no tópico 3. Nesse cenário, o cliente 3 é uma aplicação de fluxo simples que lê informações de um ou mais tópicos Kafka, faz um pouco de processamento e cria saídas para outros tópicos Kafka — tudo isso em tempo real. A análise das informações em tempo real vinda de dispositivos IoT ou ações de usuários em um site são alguns exemplos do que os fluxos Kafka dão conta facilmente. Outros usos estão listados na documentação de fluxos Kafka referenciada no final deste artigo. Por causa das funcionalidades descritas acima, o Kafka é uma escolha popular para transmitir dados e processos de ELT. Na verdade, o API de fluxos é parte integrante do Kafka e facilita o desenvolvimento de aplicações de fluxo que processam dados em curso. É justo dizer que o Kafka surgiu como uma plataforma de processamento de mensagens em lotes e agora se tornou a plataforma de processamento de fluxos preferida das pessoas. O Kafka Streams pode ainda ser aumentado com outro projeto de código aberto, chamado de KSQL, que simplificou significativamente o desenvolvimento de aplicações Kafka Streams usando declarações do tipo SQL. O Kafka e o Kafka Streams têm muito mais a oferecer do que foi descrito neste curto artigo. Os materiais referenciados abaixo os descrevem com mais detalhes e fornecem exemplos de códigos. Eles são altamente recomendados a qualquer pessoa que queira ter mais conhecimento de seus interiores e saber a maneira de usá-los na prática. ... Quer ler mais conteúdo especializado de programação? Conheça a IBM Blue Profile e tenha acesso a matérias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e dê um upgrade na sua carreira! Categorias