Databricks Specialist | Python Frameworks & Libraries

Modelo: Remoto (Portugal)

Frequência presencial: 1x por mês

Zona: Fátima / Leiria

Estamos a recrutar um(a) Senior Databricks Specialist com perfil altamente sénior e orientado a standards de engenharia, para atuar no desenho e desenvolvimento de libraries Python reutilizáveis que suportem pipelines de dados batch e streaming em ambiente de produção.

Esta função é indicada para profissionais com forte maturidade em engenharia de software aplicada a dados, capazes de elevar o nível técnico das equipas e estabelecer padrões sólidos e escaláveis.

Enquadramento da Função

O(a) profissional terá um papel central na definição de frameworks e componentes reutilizáveis em Python, assegurando qualidade, consistência e eficiência em pipelines de dados executados sobre Databricks, tanto em contexto batch como streaming.

Perfil Procurado

Perfil claramente sénior, orientado a boas práticas, padrões e qualidade de engenharia
Forte foco na criação de libraries e frameworks Python reutilizáveis
Elevada maturidade em engenharia de software e desenho de soluções escaláveis
Capacidade de influenciar standards técnicos em ambientes de dados complexos

Tecnologias-Chave

Python avançado, com foco em design de libraries e frameworks

PySpark avançado

Databricks em contexto de produção

Medallion Architecture (Bronze, Silver, Gold)
CI/CD com GitLab
Databricks Asset Bundles (DABs)
DQX para Data Quality
Streaming com Kafka e Structured Streaming
Airflow
Terraform

Azure Data Lake Storage Gen2