Arquiteto de Dados

Atividades:

• Projetar arquiteturas de dados end-to-end, desde a ingestão até o consumo, considerando escalabilidade, segurança, governança, performance e custo.

• Definir soluções de Data Lake, Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).

• Definir estratégias de ingestão, transformação, integração, armazenamento e disponibilização de dados.

• Projetar soluções utilizando Microsoft Azure, Microsoft Fabric e Azure Databricks.

• Definir padrões de modelagem dimensional, incluindo Star Schema, Snowflake, Fato, Dimensão, granularidade e SCD.

• Definir estratégias de carga Full, Incremental, CDC, Upsert/MERGE, deduplicação e controle de histórico.

• Avaliar performance, escalabilidade, disponibilidade e custo, incluindo dimensionamento de clusters e processamento Spark/PySpark.

• Definir padrões de segurança, governança, qualidade, metadados e linhagem, considerando LGPD e compliance.

• Avaliar integrações com SAP/SAP HANA, bancos relacionais e NoSQL, APIs, arquivos e sistemas SaaS.

• Orientar Engenheiros de Dados e equipes de Cloud, DevOps, Segurança, Governança e BI na implementação das soluções.

• Produzir documentação, diagramas e decisões arquiteturais, avaliando alternativas tecnológicas e seus impactos técnicos e financeiros.

Requisitos:

• Formação superior em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas.

• Experiência sólida em Arquitetura de Dados, Data Lake/Lakehouse e arquitetura Medallion.

• Domínio de modelagem dimensional, incluindo Star Schema, Snowflake, Fato, Dimensão, granularidade e SCD.

• Conhecimento de SQL, Python e/ou PySpark, Apache Spark, Delta Lake e Parquet.

• Experiência com ETL/ELT, pipelines de dados e estratégias Full, Incremental, CDC, Upsert/MERGE e processamento distribuído.

• Experiência ou conhecimento sólido em Microsoft Azure, Microsoft Fabric e Azure Databricks.

• Conhecimento de Azure Data Lake Storage Gen2, OneLake, Fabric Lakehouse e Unity Catalog.

• Experiência ou conhecimento em integração com SAP/SAP HANA, bancos relacionais e NoSQL, APIs e arquivos.

• Conhecimento de segurança, governança, qualidade, linhagem de dados, LGPD e controle de acesso.

• Conhecimento de Azure Data Factory, Fabric Data Factory/Data Pipelines e Databricks Workflows.

Competências:

• Capacidade de transformar requisitos de negócio em arquiteturas de dados escaláveis, seguras e sustentáveis.

• Habilidade para orientar equipes multidisciplinares e conduzir decisões técnicas em projetos complexos.

• Capacidade analítica para avaliar trade-offs entre performance, custo, segurança e escalabilidade.

• Proatividade na definição de padrões, automação e melhoria contínua das soluções de dados.

• Facilidade para documentar e comunicar conceitos técnicos para públicos técnicos e não técnicos.

Diferenciais:

• Certificações Microsoft relacionadas a Azure/Fabric e certificações Databricks.

• Experiência com Azure DevOps, CI/CD e Terraform/IaC.

• Experiência com Data Mesh, streaming e arquiteturas orientadas a eventos.

• Conhecimento de Power BI, Semantic Models, FinOps e arquiteturas híbridas ou multi-cloud.

• Experiência com Machine Learning, MLOps, MLflow, Databricks ML e arquiteturas de dados para IA Generativa.

• Experiência em projetos corporativos de grande volume e ambientes críticos.