---
title: "Discussion on \"Integrando AWS Glue com Apache Kafka: Pipeline de Inventário em Tempo Real com Spark e Avro\" | Hashnode"
description: "Discussion on \"Integrando AWS Glue com Apache Kafka: Pipeline de Inventário em Tempo Real com Spark e Avro\". Implementação de ETL distribuído para sincronização de estoque empresarial usando serialização Avro, Schema Registry e processamento incremental"
url: "https://hashnode.com/posts/integrando-aws-glue-com-apache-kafka-pipeline-de-inventario-em-tempo-real-com-spark-e-avro/6895f32c51d60c87cf531476"
---

[Feed](https://hashnode.com/feed) /

Discussion

# [Integrando AWS Glue com Apache Kafka: Pipeline de Inventário em Tempo Real com Spark e Avro](https://blog.felipefr.dev/integrando-aws-glue-com-apache-kafka-pipeline-de-inventario-em-tempo-real-com-spark-e-avro?utm_source=hashnode&utm_medium=feed)

Implementação de ETL distribuído para sincronização de estoque empresarial usando serialização Avro, Schema Registry e processamento incremental

Aug 8, 2025 · 10 min read · blog.felipefr.dev  
Read the article

-   [#aws](https://hashnode.com/tag/aws)
-   [#kafka](https://hashnode.com/tag/kafka)
-   [#spark](https://hashnode.com/tag/spark)
-   [#etl](https://hashnode.com/tag/etl)
-   [#data-engineering](https://hashnode.com/tag/data-engineering)
-   [#glue](https://hashnode.com/tag/glue)
-   [#avro](https://hashnode.com/tag/avro)
-   [#real-time](https://hashnode.com/tag/real-time)
-   [#inventory](https://hashnode.com/tag/inventory)
-   [#postgresql](https://hashnode.com/tag/postgresql)
-   [#schema-registry](https://hashnode.com/tag/schema-registry)
-   [#data-pipeline](https://hashnode.com/tag/data-pipeline)
-   [#distributed-computing](https://hashnode.com/tag/distributed-computing)

## Written by

[Felipe Rodrigues](https://hashnode.com/@felipefr)

@felipefr

  
[View profile](https://hashnode.com/@felipefr)

## Responses 1

Markdown supported · ⌘↵ to post

[Anik Sikder](https://hashnode.com/@anik169)

[Aug 8, 2025](https://hashnode.com/posts/integrando-aws-glue-com-apache-kafka-pipeline-de-inventario-em-tempo-real-com-spark-e-avro/6895f32c51d60c87cf531476/comment/6895fc00833ca0eb7539dcf2)

Excelente caso de uso real que demonstra a maturidade das soluções serverless da AWS em conjunto com ecossistemas modernos como o Kafka. A utilização de AWS Glue com job bookmarks para leitura incremental é uma prática recomendada que otimiza custo e desempenho, enquanto o uso de Avro com Schema Registry e serialização no Confluent Wire Format mostra um nível avançado de engenharia de dados.

A abordagem de buscar dinamicamente o schema mais recente e manter compatibilidade forward/backward entre produtores e consumidores é essencial em pipelines de dados que precisam evoluir com segurança.

Ponto alto: o detalhamento da transformação com Spark distribuído e a lógica de negócio aplicada (como classificação de estoque e cálculo de reposição). Isso mostra como a integração de dados pode ir além da movimentação e realmente gerar valor analítico e operacional.

Parabéns pela clareza e profundidade técnica do conteúdo! 🚀

[Felipe Rodrigues](https://hashnode.com/@felipefr)

[Aug 8, 2025](https://hashnode.com/posts/integrando-aws-glue-com-apache-kafka-pipeline-de-inventario-em-tempo-real-com-spark-e-avro/6895f32c51d60c87cf531476/comment/6895fc00833ca0eb7539dcf2#reply-6895ff61507beaab34f4dc0b)

Muito obrigado!