RabbitMQ com Streams para Alta Performance

RabbitMQ consegue competir com Kafka?

Embora o Apache Kafka seja a escolha comum para cenários de alto volume, o RabbitMQ com suporte a streams mostra resultados surpreendentes ao atingir cifras superiores a 1 milhão de mensagens por segundo. A principal vantagem? Um custo muito menor com um setup mais simples e leve.

Entenda o que está por trás da performance

Quando falamos de throughput, estamos interessados em quanto o broker consegue receber e entregar mensagens por segundo, independente da latência entre produtor e consumidor. Com o uso de streams e super streams, o RabbitMQ alcança uma estabilidade alta mesmo em hardwares modestos.

Benchmark: RabbitMQ com Streams

Com apenas 3 vCPUs e 4 GB de RAM, conseguimos estabilizar em 1.2 milhões de mensagens publicadas e mais de 1 milhão consumidas por segundo em uma instância Docker local. Em cluster com três nós, o consumo chegou a 14 milhões, com múltiplos consumidores replicando as mesmas mensagens. E tudo isso com menos recursos que um cluster mínimo de Kafka.

Entendendo a Arquitetura dos Streams

Streams são otimizados para escrita sequencial e leitura em alta velocidade. Ao contrário das filas clássicas ou quorum, eles usam buffering inteligente para reduzir o I/O e conseguem operar mais próximos da performance de memória do que de disco. Ainda que sacrifiquem um pouco da durabilidade imediata, entregam performance absurdamente maior.

Comparativo com Quorum e Clássicas

Ferramentas para Benchmark

SuperStreams: a cereja do bolo

Essa variação dos streams traz ainda mais otimizações internas, permitindo melhor balanceamento entre nós do cluster e replicação eficiente das mensagens publicadas. O nome brinca com “super-herói”, mas realmente entrega resultados potentes para cenários produtivos intensos.

Qual fila escolher?

Dependerá do seu foco: alta durabilidade, latência mínima ou processamento massivo. Streams são a opção recomendada quando o throughput for a prioridade número um. Quorum se destaca quando a persistência extrema for mandatória. As clássicas ainda são úteis para estruturas legacy e onde o custo de migração é alto.

Infraestrutura mínima necessária

Enquanto um cluster Kafka exige 4 vCPUs, 8 GB de RAM e 500 GB de disco (mínimo), com RabbitMQ e streams conseguimos performance superior com menos de 4 vCPUs, 4 GB de RAM por nó e disco otimizado. Isso representa metade do custo operacional.

Simulações com múltiplos nós

Quando escalamos para um cluster de três nós, distribuindo produtores e consumidores entre eles, o throughput sobe ainda mais. Essa escalabilidade horizontal permite atender a cenários que exigem gradualmente mais carga sem refatorar toda aplicação.

Stream multiprodutor e multiconsumidor

Dentre os recursos do stream, cada consumidor pode ler todos os dados baseados em offsets, similar ao Kafka, permitindo reprocessamento, compatibilidade com múltiplos tópicos e concorrência, o que o torna muito mais flexível que filas convencionais.

Implicações na arquitetura

Aplicações que dependem de eventos em tempo real, logs, pipeline de dados ou integrações assíncronas massivas podem se beneficiar ainda mais com este modelo. Ajustar o consumo via offsets também abre caminho para auditoria e replay de eventos com facilidade.

Quando ainda escolher Kafka

Para quem já utiliza todo o ecossistema Kafka com Connect, Streams, KSQL e Schema Registry integrados, migrar para RabbitMQ talvez não seja vantajoso. Kafka ainda é líder se necessidades envolvem tempo real com transformações e séries temporais.

Recomendações finais

Antes de escolher sua mensageria por conveniência ou modismos, teste. RabbitMQ com streams pode te surpreender não apenas pela performance, mas pela eficiência operacional e redução de gastos computacionais.