NOVO MÓDULO · FORMAÇÃO DATA ENGINEER 360

A STACK NÃO MUDA. O QUE MUDA É ONDE OS DADOS VIVEM.

Não é “aprenda AWS e GCP ao mesmo tempo”. É o framework de POC que você usa para provar, com dados reais, qual arquitetura serve ao cliente antes de qualquer migração.

DESTINO GCP GCS + BIGQUERY
DESTINO AWS S3 + ATHENA / REDSHIFT
NÚCLEO CONSTANTE HOP + DBT + JENKINS
QUERO ME INSCREVER
VER A ARQUITETURA
2 clouds, uma mesma arquitetura
85M+ registros validados no case que originou o método
0 decisões de arquitetura “no escuro”
Scroll
+ + + + /// 01 — O PROBLEMA REAL

O MAIOR RISCO NÃO É ESCOLHER A CLOUD ERRADA.
É ESCOLHER SEM PROVAR.

A maioria das decisões de arquitetura em empresas é tomada por preferência, contrato comercial ou “o que o time já conhece” não por evidência de que a solução aguenta o volume real do negócio.

O GRANDE RISCO

Migrar arquitetura de dados sem validar as decisões técnicas em cenários de stress e só descobrir os limites depois que já está em produção, com o cliente dependendo disso.

+ +
01

DECISÃO POR DISCURSO

Comparação de clouds feita por slide de vendedor, não por teste de carga.

+
02

SEM CRITÉRIO DE PRONTIDÃO

Nenhum critério objetivo de “isso está pronto para produção”.

+
03

ESCOLHA IRREVERSÍVEL CEDO DEMAIS

Decisão de arquitetura irreversível tomada antes de qualquer prova de conceito.

+
04

CONFIGURAR NÃO É VALIDAR

Times que sabem configurar serviços de cloud, mas não sabem validar se a escolha foi certa.

/// 02 — A VIRADA DE MENTALIDADE

ISSO NÃO É CURSO DE DUAS CLOUDS.
É CURSO DE COMO PROVAR.

A mudança é sair de serviços ensinados isoladamente para uma arquitetura comparável, com critérios mensuráveis e uma decisão sustentada por evidência.

CURSO MULTICLOUD TRADICIONAL

APRENDA OS SERVIÇOS

  • Cada cloud ensinada isoladamente
  • Foco em decorar nomes de serviços gerenciados
  • Decisão de qual usar fica por conta do aluno
  • Nenhum critério de comparação entre elas
METODOLOGIA DE POC — PENTARRUDA

APRENDA A VALIDAR

  • Mesma arquitetura, dois motores de execução
  • Critérios de decisão mensuráveis e comparáveis
  • Você sai sabendo desenhar a próxima POC sozinho
  • Decisão sustentada por evidência, não por preferência
/// 03 — O QUE VOCÊ VAI CONSTRUIR

UMA ARQUITETURA. DOIS DESTINOS.

O núcleo da stack não muda entre nuvens. Só a peça de storage e o motor analítico variam e é exatamente essa fronteira que você vai aprender a testar.

FRONTEIRA DE TESTE

A stack permanece constante. Storage e motor analítico são as variáveis que você compara sob as mesmas condições para recomendar com evidência.

+ + + + /// 04 — O FRAMEWORK QUE VOCÊ LEVA EMBORA

VALIDAÇÃO EM ESCALA REAL.
NÃO EM TEORIA.

A mesma estratégia de cenários crescentes usada em POCs reais de cliente agora aplicada por você, do zero, em duas nuvens.

CENÁRIO 01 VOLUME MÉDIO
BASELINE
CENÁRIO 02 VOLUME ALTO
STRESS PARCIAL
CENÁRIO 03 TABELA CORE / PRODUÇÃO
TESTE FINAL
CRITÉRIOS DE SUCESSO
  • TEMPO
  • CUSTO
  • ERROS
  • VOLUME PROCESSADO
+ +
DEFINIR

COMECE PELO VOLUME

Defina cenários de volume crescente antes de qualquer implementação.

+
MEDIR

ESTABELEÇA CRITÉRIOS OBJETIVOS

Determine o que significa sucesso em tempo, custo, erros e volume processado.

+
EXECUTAR

IGUALE AS CONDIÇÕES

Rode a mesma arquitetura nas duas clouds sob as mesmas condições.

+ +
DECIDIR

RECOMENDE COM EVIDÊNCIA

Compare os resultados e recomende com evidência, não com opinião.

+ + + + /// 05 — ESSA METODOLOGIA JÁ FOI VALIDADA EM PRODUÇÃO

NÃO É TEORIA
DE SALA DE AULA.

O método de POC ensinado neste curso é o mesmo usado no case real que deu origem à formação validado com dados produtivos de cliente, não com dataset de exemplo.

ORIGEM DO MÉTODO CASE REAL · DADOS PRODUTIVOS
+ + 01 · TESTE FINAL 85.295.661 REGISTROS PROCESSADOS NO TESTE FINAL
+ + 02 · QUALIDADE 0 ERROS E REJEIÇÕES
+ + 03 · MATERIALIZAÇÃO 16,6 GiB MATERIALIZADOS EM 36 SEGUNDOS
+ + 04 · STRESS COMPLETO ~5 min DURAÇÃO DO TESTE DE STRESS COMPLETO
/// DEPOIMENTOS

O QUE NOSSOS ALUNOS DIZEM

Feedback real de alunos que passaram pelo treinamento e transformaram sua forma de trabalhar com dados.

100%
Satisfação
dos Alunos
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
Relato de aluno da Data for Speed
/// 06 — PARA QUEM É ESTE CURSO

O PRÓXIMO DEGRAU.
NÃO O PRIMEIRO.

Para quem já entende a arquitetura Bronze/Silver/Gold e a separação entre ingestão, transformação e orquestração e quer aprender a validar decisões antes de implementar em produção.

NÍVEL ESPERADO

O PRÓXIMO DEGRAU

Este módulo não é o primeiro contato com arquitetura de dados. Ele parte de uma base já construída.

ARQUITETURA DE DADOS

BRONZE / SILVER / GOLD

Você já entende o padrão de arquitetura em camadas que será levado para a infraestrutura de nuvem.

RESPONSABILIDADES DA STACK

INGESTÃO, TRANSFORMAÇÃO E ORQUESTRAÇÃO

Você já domina a separação entre essas etapas para concentrar o aprendizado na variável cloud.

PRÓXIMO OBJETIVO

VALIDAR ANTES DE PRODUÇÃO

Você quer aprender a comparar provedores e validar decisões antes de implementar em produção.

Formação Hopbase Formação SQL Formação Data For Speed Formação Spark Anos Luz Formação Snowflake
/// Módulos

DO SETUP AO DEPLOY. MÓDULO A MÓDULO.

01 Módulo 01

Setup da Stack

Estrutura do projeto com Hop + dbt + Jenkins. Ambientes dev / qa / prod. Versionamento Git.

Git Docker Jenkins
02 Módulo 02

Data Lake AWS & GCP

Buckets organizados. Bronze / Silver / Gold. Parquet. Particionamento inteligente.

S3 Cloud Storage Parquet
03 Módulo 03

Ingestão com Apache Hop

Pipelines robustos. Escrita desacoplada da cloud. Camada Bronze padronizada.

Apache Hop S3 GCS
04 Módulo 04

Transformação com dbt

Silver e Gold modelados. Incremental models. Testes de qualidade. Documentação automática.

dbt BigQuery Athena
05 Módulo 05

Query Layer (Lakehouse)

Amazon Athena vs BigQuery na prática. Estratégias de performance. Comparativo real.

Athena BigQuery SQL
06 Módulo 06

CI/CD e Orquestração

Pipeline Jenkins completo. Git push → ingestão → transformação → deploy automático.

Jenkins dbt Apache Hop
07 Módulo 07

Ambiente Portável

Containerização com Docker. Variáveis de ambiente. A mesma stack rodando em qualquer cloud.

Docker .env AWS GCP
08 Módulo 08 — Bônus

Redshift

Quando usar Data Warehouse? Athena vs Redshift. Custo, performance e cenários enterprise.

Redshift Athena Arquitetura
/// DIFERENCIAIS

O QUE COMPLEMENTA O FRAMEWORK

Dois pontos que permanecem únicos depois da consolidação: custo avaliado por cenário e automação aplicada ao ciclo de dados.

DIFERENCIAL 01

CUSTO AVALIADO POR CENÁRIO

Athena e BigQuery operam no modelo serverless. A decisão compara volume, frequência, performance e custo antes de recomendar um destino.

DIFERENCIAL 02

CI/CD APLICADO A DADOS

Jenkins integra o ciclo de ingestão, transformação, testes e deploy. O mesmo pipeline acompanha a stack nos dois destinos.

/// BÔNUS — DECISÃO POR CENÁRIO

ATHENA OU REDSHIFT? DEPENDE DO CENÁRIO.

O bônus amplia o framework para comparar uma alternativa serverless e uma provisionada com base em custo, volume, frequência de uso e necessidade de performance.

Athena Redshift
Modelo Serverless Provisioned
Custo Pay-per-query Pay-per-hour
Melhor para Exploração Alta frequência
Performance Variável Consistente
Setup Minutos Horas/dias
Rafael Arruda, instrutor do curso
SEU MENTOR

Rafael Arruda

Engenheiro de Dados | Fundador da Arruda Consulting

Com mais de 15 anos de experiência, Rafael Arruda é uma das maiores referências do Brasil em Engenharia de Dados. Especialista em migração de cenários On-Premises (Pentaho) para Nuvem Moderna (Snowflake/AWS), ele fundou a comunidade Pentarruda, ajudando milhares de profissionais a evoluírem na carreira.

Sua metodologia é focada em resolver problemas reais de consultoria, ensinando como criar arquiteturas escaláveis, seguras e performáticas sem "enrolação".

+15k Alunos
+80 Projetos
Arruda Consulting
/// EMBARQUE

UMA ASSINATURA.
TODOS OS CURSOS QUE LANÇARMOS.

Por apenas R$ 500 a mais, você leva 6 trilhas em vez de 1 — inclusive todo curso novo que lançarmos ao longo do ano.

OPÇÕES 2 formatos
DIFERENÇA R$ 500
FORMAÇÃO 6 trilhas
Só este curso

POC Multi-Cloud

  • Framework completo de POC em duas clouds
  • Implementação guiada: GCS + BigQuery e S3 + Athena / Redshift
  • Acesso ao canal do curso no Discord
  • Sem acesso às demais trilhas da formação
R$ 1.500 pagamento único
QUERO SÓ ESTE CURSO
Mais escolhido
Formação completa

Data Engineer 360

  • Este curso de POC Multi-Cloud incluído
  • Hopbase, SQL Pentarruda, Data For Speed, Snowflake e Sparkanos
  • Todo curso novo lançado durante a assinatura, sem custo extra
  • Sessão de onboarding 1:1 e canal exclusivo no Discord
R$ 2.000 /ano · acesso anual a tudo
Formação completa · mais escolhida

DATA ENGINEER 360

Por apenas R$ 500 a mais, você leva 6 trilhas em vez de 1 — inclusive todo curso novo lançado durante a assinatura.

acesso anual a tudo
R$ 2.000
// POR ANO
GARANTIR A FORMAÇÃO COMPLETA
Onboarding 1:1 + canal exclusivo no Discord
/// FAQ — ANTES DE COMEÇAR

PERGUNTAS FREQUENTES

Conceito, requisitos e aplicação do framework.