State Street
State Street
A State Street é uma empresa global de serviços financeiros que atende investidores institucionais por meio de soluções de gestão e administração de investimentos. Sua oferta inclui gestão de ativos, serviços de custódia e pesquisa de investimentos, apoiados por experiência em finanças, tecnologia financeira e bancos. A empresa se concentra em ajudar os clientes a gerenciar atividades de investimento complexas com dados, insights e capacidades operacionais projetadas para melhorar a eficiência e apoiar a tomada de decisões financeiras.

Engenheiro de Dados, Vice-Presidente Assistente - Princeton, NJ

Construa plataformas lakehouse na AWS e no Databricks para apoiar as operações jurídicas e de compliance da State Street. Desenvolva pipelines de dados governados para análises, relatórios e aplicações de IA/ML.

Descrição

  • Construir e manter pipelines de dados escaláveis com PySpark, Python e Spark SQL
  • Desenvolver e otimizar fluxos de trabalho ETL/ELT do Databricks com Delta Lake
  • Implementar arquitetura lakehouse Bronze, Silver e Gold para plataformas de dados empresariais
  • Gerenciar Jobs, Workflows e Notebooks do Databricks para cargas de trabalho em lote e streaming
  • Criar frameworks reutilizáveis para ingestão, processamento e orquestração de dados
  • Conteinerizar cargas de trabalho de dados com Docker e automatizar processos por meio de scripts
  • Conectar pipelines do Databricks ao Power Apps e ao Power Automate
  • Disponibilizar dados para usuários de negócio por meio de APIs, conectores e conjuntos de dados selecionados
  • Projetar e otimizar arquiteturas lakehouse do Databricks
  • Integrar SQL Server, Oracle e outras fontes de dados empresariais
  • Aplicar modelagem dimensional, particionamento e métodos de otimização
  • Processar formatos estruturados e semiestruturados, incluindo JSON e Parquet
  • Melhorar o desempenho por meio de cache, indexação e otimização do Spark
  • Publicar conjuntos de dados selecionados para Power BI, Power Apps e fluxos de trabalho do Power Automate
  • Manter a qualidade dos dados com testes unitários, frameworks de validação e verificações automatizadas
  • Monitorar e solucionar problemas em cargas de trabalho e pipelines distribuídos do Spark
  • Investigar logs e resolver problemas de produção no Databricks e em ambientes de nuvem
  • Manter a linhagem e a consistência dos dados e a preparação para auditorias
  • Colaborar com as equipes Jurídica, de Segurança, Compliance e Dados Corporativos
  • Converter requisitos de negócio em soluções de engenharia de dados
  • Atuar como especialista em Databricks e arquitetura lakehouse
  • Liderar iniciativas de forma independente e assumir a responsabilidade pelas entregas
  • Apoiar a governança com o Databricks Unity Catalog e os controles AWS IAM e KMS
  • Atender aos requisitos de privacidade de dados, regulamentação, segurança e auditoria
  • Manter controles de acesso e padrões de classificação e tratamento de dados
  • Trabalhar com as equipes de IAM e segurança para proteger o acesso aos dados
  • Projetar e manter pipelines de CI/CD com Harness, Azure DevOps ou GitHub
  • Automatizar implantações de ativos do Databricks com Databricks Repos e CLI
  • Monitorar, programar e otimizar fluxos de trabalho com ferramentas de orquestração do Databricks
  • Manter a documentação de arquitetura, fluxo de dados e procedimentos operacionais
  • Melhorar o desempenho, a escalabilidade e a eficiência de custos da plataforma

Requisitos

  • Bacharelado ou mestrado em ciência da computação, engenharia de dados, sistemas de informação ou área técnica relacionada
  • Pelo menos 8 anos de experiência em engenharia de dados ou desenvolvimento de plataformas de dados
  • Experiência prática com Databricks e Apache Spark
  • Proficiência em PySpark, Python e SQL
  • Experiência com serviços de dados da AWS, incluindo S3, Glue, Lambda e IAM
  • Experiência com Delta Lake e arquitetura lakehouse
  • Sólidos conhecimentos de processamento distribuído de dados
  • Sólidos conhecimentos de frameworks ETL e ELT
  • Sólidos conhecimentos de técnicas de modelagem de dados
  • Experiência prática com componentes do Databricks, como Delta Lake, Workflows e Unity Catalog
  • Ampla experiência na criação de pipelines completos em lote e streaming com AWS e Databricks
  • Familiaridade com a otimização de desempenho do Spark e do Delta Lake
  • Experiência no suporte a cargas de trabalho de análise, relatórios ou IA/ML em uma plataforma lakehouse
  • Conhecimento de governança de dados, gerenciamento de metadados e controles de segurança
  • Experiência nas áreas Jurídica, de Compliance, Serviços Financeiros ou outros setores regulamentados
  • Compreensão de conceitos de dados jurídicos, incluindo contratos, cláusulas, obrigações e assuntos
  • Experiência com processamento de dados não estruturados ou pipelines de documentos e NLP
  • Experiência com Power BI, Power Apps ou Power Platform
  • Experiência no gerenciamento de dados confidenciais em ambientes orientados por auditorias

Benefícios

  • Plano de poupança para aposentadoria 401(k) com contribuição equivalente da empresa
  • Opções de seguro, incluindo seguro de vida básico, cobertura médica, odontológica, oftalmológica, por incapacidade de longo prazo e outras coberturas opcionais
  • Licença remunerada para férias, doença, incapacidade de curto prazo e responsabilidades de cuidados familiares
  • Programa de assistência ao funcionário
  • Remuneração variável com elegibilidade para prêmios anuais baseados no desempenho
  • Elegibilidade para determinados planos de poupança com benefícios fiscais
  • Oportunidades inclusivas de desenvolvimento profissional
  • Suporte flexível ao equilíbrio entre vida pessoal e profissional
  • Dias remunerados para voluntariado
  • Redes de funcionários

Vagas relacionadas

Remote Recruitment

Especialista remoto em retenção de clientes na África do Sul

Remote Recruitment
11 – 50 Funcionários
ConsultoriaLogísticaMarketing

Ajude uma empresa do Reino Unido a manter clientes em uma função remota na África do Sul. Cuide de pedidos de cancelamento, recuperação de clientes, renovações e relatórios de cancelamento.

Abrir
S&P Global

Gerente de Sucesso do Cliente, Energia e Commodities — São Paulo

S&P Global

Gerencie o relacionamento com clientes da S&P Global Platts na América Latina e apoie a integração, o treinamento e a prestação de serviços para clientes dos setores de energia e commodities. Trabalhe com equipes regionais e globais para atender às necessidades dos clientes e fortalecer os negócios.

Abrir
goFLUENT

Gerente de Sucesso do Cliente, Japão

goFLUENT
501 – 1.000 Funcionários
B2BEducação

Ajude clientes corporativos no Japão a aproveitar ao máximo os programas de aprendizagem de idiomas com IA da goFLUENT. Melhore o engajamento e a satisfação dos alunos por meio de relatórios de progresso, revisões de negócios e ações de acompanhamento.

Abrir
Hewlett Packard Enterprise

Gerente de negócios de parceiros de HPE Compute — leste dos EUA

Hewlett Packard Enterprise

Lidere as vendas de HPE Compute com parceiros estaduais, locais e de educação no leste dos Estados Unidos. Crie planos de vendas conjuntos, amplie o pipeline e fortaleça o engajamento dos parceiros.

Abrir
NZ Transport Agency Waka Kotahi

Oficial de conformidade – NZTA, Auckland

NZ Transport Agency Waka Kotahi
1.001 – 5.000 Funcionários
ConstruçãoConsultoriaLogística

Realize auditorias e avalie operadores de transporte comercial para a NZTA, tomando decisões de conformidade baseadas em riscos e conduzindo investigações para contribuir com resultados mais seguros. Construa relacionamentos regionais com operadores e viaje conforme necessário.

Abrir