Especialista de Engenharia de Dados II

Description

O DataLab é a unidade de pesquisa e inovação do grupo Experian na América Latina junto com a Serasa Experian no Brasil. Temos o objetivo de ser propositivo, antecipando o futuro, e consultivo, identificando oportunidades de evolução no mercado, por meio de técnicas de Inteligência Artificial e Machine Learning combinada com uso de novas fontes de dados.

Criamos soluções inovadoras avançadas, que ajudam clientes e mercado a se prepararem hoje para o amanhã de decisões mais assertivas. Além de termos um olhar 360º para trocar com o que há de melhor no âmbito global, considerando o todo e produzindo soluções capazes de alcançar grande escalabilidade.

Estamos em busca de uma mente analítica e experiente para liderar a evolução da nossa infraestrutura de dados. Você será a peça-chave na construção de arquiteturas escaláveis, garantindo que nossos dados não sejam apenas armazenados, mas transformados em vantagem competitiva.

Principais Responsabilidades

• Arquitetura de Data Lake: Desenhar, implementar e sustentar arquiteturas modernas de Data Lake e Lakehouse, garantindo escalabilidade, resiliência e custo-benefício.
• Pipeline de Dados (ETL/ELT): Construir e otimizar fluxos de ingestão de dados em tempo real (streaming) e em batch, assegurando a integridade e a baixa latência das informações.
• Governança e Qualidade: Estabelecer padrões de Data Quality, linhagem de dados e políticas de segurança/privacidade (LGPD) em todo o ecossistema.
• Mentoria Técnica: Atuar como referência para o time, disseminando boas práticas de desenvolvimento (Clean Code, CI/CD) e auxiliando na resolução de problemas complexos.
• Otimização de Performance: Identificar gargalos em processamentos de grandes volumes de dados e propor melhorias estruturais para ganho de performance em queries e jobs.

• Experiência Comprovada: Mínimo de 7 anos de experiência atuando diretamente em Engenharia de Dados, com histórico em ambientes de alta complexidade e larga escala em ambientes de nuvem (preferencialmente na AWS).
• Domínio de Ferramentas: Experiência avançada com Apache Spark (PySpark/Scala) e orquestradores de fluxo (como Airflow, Prefect ou Dagster).
• Linguagens de Programação: Fluência em Python ou Scala, além de domínio de SQL para manipulação e análise de dados.
• Modelagem de Dados: Conhecimento em técnicas de modelagem dimensional.
• Infraestrutura como Código (IaC): Conhecimento em Terraform ou ferramentas similares para provisionamento de recursos de dados.
• Mindset Ágil: Familiaridade com metodologias ágeis e cultura DevOps aplicada a dados (DataOps).