Engenheiro de Dados Sr – Sicredi – Home Office

Engenheiro de Dados Sr – Sicredi – Home Office

Responsabilidades e atribuições
Nesta vaga você será responsável por liderar a arquitetura e a construção de pipelines e plataformas de dados escaláveis, atuando como referência técnica do time. Você ajudará a evoluir os padrões e boas práticas dentro do time, apoiará decisões estratégicas de engenharia e garantirá a qualidade, governança, segurança e confiabilidade dos dados em todo o ciclo. Também colaborará com diferentes áreas para transformar necessidades de negócio em soluções eficientes, além de orientar e apoiar colegas menos experientes na evolução técnica da equipe.

Você precisará desenvolver e apoiar pipelines de ETL’s, ou seja: a) extração dados em suas formas brutas nos sistemas de origem; b) transformações nos dados através de tratamentos ou aplicação de regras de negócios; c) ingestão de dados já tratados nos repositórios de informação (Data Lake, DW); Modelagem de dados Fato x Dimensão, Flat.

Apoiar o time de analistas e cientistas de dados, analistas de negócio e PMs em demandas estratégicas construindo objetos fáceis de consumir. Buscar o entendimento de rotinas e regras junto ao time de sistemas.

Aqui você irá:

· Participar de decisões estratégicas de arquitetura e evolução do ecossistema de dados.

· Projetar, implementar e otimizar pipelines de dados escaláveis, resilientes e de alta performance para auxiliar o time de negócio na tomada de decisão.

· Garantir eficiência e governança em ambientes de Big Data (AWS)

· Documentar processos, fluxos de dados e soluções técnicas para referência futura, garantindo que nosso conhecimento seja compartilhado e preservado.

· Construir pipelines de dados capazes de identificar oportunidades de negócio e qualificar a experiência do associado, a partir de dados internos e externos;

· Garantir qualidade, consistência, versionamento e rastreabilidade dos dados (data lineage).

· Organizar e manter o ciclo de desenvolvimento de modelos: construção, testes, simulações, passagem para produção

· Realizar a coleta, limpeza e transformação de dados brutos em formatos adequados para análise e processamento.

Requisitos e qualificações
· Formação: Engenharias, Sistemas de Informação, Ciência da Computação, Matemática, Estatística, ou afins

· Conhecimentos sólidos em Databricks

· Conhecimentos sólidos em metodologias ágeis de gestão de projetos

· Conhecimentos em otimização de ETLs e configuração de clusters

· Proficiência em SQL e Python para manipulação e automação de dados.

· Conhecimento avançado de conceitos de modelagem de dados e arquitetura de dados.

· Habilidades analíticas e capacidade de resolver problemas complexos relacionados a dados e sistemas de tecnologia.

· Boas habilidades de comunicação e capacidade de trabalhar em equipe, pois você estará colaborando com diferentes partes interessadas.

· Capacidade de aprender rapidamente novas tecnologias e conceitos relacionados a dados.

· Curiosidade e vontade de aprender, com a capacidade de se adaptar rapidamente a novas tecnologias e conceitos relacionados a dados.

· Conhecimento profundo em arquiteturas de ingestão (batch streaming, CDC)

· Conhecimento em Git para versionamento de código

· Conhecimentos relacionados ao mercado de Máquina de cartões será um diferencial.

Candidate-se, clicando no botão “Candidatar-se à vaga” abaixo