A Marathon Petroleum Corporation é uma empresa de energia que atua nos setores de refino, midstream e varejo. Sua rede de refino abrange 13 refinarias nos Estados Unidos, com capacidade declarada para processar até 3 milhões de barris de petróleo bruto por dia. A empresa também está desenvolvendo operações de combustíveis renováveis paralelamente ao seu portfólio tradicional de energia, com foco em melhorar a eficiência energética e reduzir as emissões de carbono.
Engenheiro(a) Sênior de Dados - Marathon Petroleum, San Antonio, TX
Lidere o design de pipelines de dados escaláveis e soluções em Azure para apoiar as operações da Marathon Petroleum. Você moldará a arquitetura de dados, fortalecerá a governança e a segurança e orientará outros engenheiros.
Descrição
- Construir, aprimorar e otimizar pipelines de dados escaláveis e soluções de dados baseadas em nuvem
- Aplicar Azure Data Lake, Synapse Analytics, Azure Functions e Databricks em iniciativas de engenharia de dados
- Colaborar com as partes interessadas de analytics, produto, arquitetura, governança e negócios para transformar requisitos em soluções escaláveis
- Projetar e melhorar fluxos de extração, ingestão e transformação de dados
- Desenvolver arquitetura de dados para conjuntos de dados complexos e de alto volume
- Entregar pipelines de dados sofisticados aplicando controles de segurança e privacidade de dados
- Executar trabalhos complexos de qualidade e processamento de dados com tecnologias de código aberto e em nuvem
- Fornecer suporte técnico especializado durante incidentes críticos
- Coordenar entre departamentos para manter uma integração de dados confiável
- Aprimorar continuamente as práticas de processamento de dados, promovendo consistência e padrões de engenharia
- Resolver desafios complexos de dados e contribuir para o planejamento estratégico da infraestrutura de dados
- Liderar atividades de garantia de qualidade e testes para soluções de dados
- Orientar e apoiar engenheiros de dados menos experientes
- Ajudar a definir padrões de engenharia, padrões reutilizáveis e designs de soluções por meio de revisões técnicas
Requisitos
- É necessário ter bacharelado em tecnologia da informação ou área relacionada
- É necessário ter pelo menos cinco anos de experiência relevante em engenharia de dados
- Conhecimento sólido de Python, SQL, Spark e ferramentas de orquestração, incluindo Azure Data Factory e/ou Databricks Workflows
- Experiência com tecnologias de big data e frameworks de computação distribuída, como Hadoop e Spark
- Conhecimento de plataformas de dados em nuvem e serviços relacionados da AWS, Azure ou Google Cloud Platform
- Capacidade de estabelecer e gerenciar políticas, procedimentos e padrões de governança de dados
- Experiência na integração de dados por meio de processos ETL, pipelines e frameworks de ingestão
- Capacidade de projetar e implementar modelos de dados escaláveis
- Compreensão das operações de dados em todo o ciclo de vida dos dados
- Capacidade de aplicar práticas de privacidade de dados e gerenciar direitos de acesso e protocolos de consentimento
- Conhecimento sólido de dimensões, métodos e boas práticas de qualidade de dados
- Conhecimento de regulamentações de privacidade de dados, práticas de cibersegurança e técnicas de segurança de dados
- Familiaridade com ferramentas e práticas de monitoramento e observabilidade
- Compreensão de métodos DevOps
- Capacidade geral de programação
- Experiência com soluções de gerenciamento de metadados
- Conhecimento de bancos de dados NoSQL
- Conhecimento de processamento de dados em tempo real
Benefícios
- Cobertura médica, oftalmológica e odontológica
- Tempo livre remunerado
- Contribuição equivalente para o plano 401(k)
- Licença parental remunerada
- Reembolso educacional
- Bônus anual discricionário patrocinado pela empresa