A RELX desenvolve análises baseadas em informações e ferramentas de tomada de decisão para clientes profissionais e empresariais em todo o mundo. Seus produtos combinam conteúdo especializado, dados e tecnologia para apoiar decisões melhores e resultados mais sólidos nos setores de Risco, Científico, Técnico e Médico, Jurídico e Exposições. A RELX também atua nos mercados de consultoria, saúde e seguros, ajudando organizações a melhorar a produtividade, gerenciar riscos, avançar pesquisas, apoiar o trabalho jurídico e realizar transações comerciais mais eficazes.
Engenheiro de Software III, Engenharia de Dados - RELX, Chennai presencial
Crie pipelines de dados em Azure e HPCC para a LexisNexis Risk Solutions. Desenvolva plataformas escaláveis que apoiem análises de risco, relatórios e necessidades de dados operacionais.
Descrição
- Criar e manter pipelines ETL e ELT escaláveis com Azure Data Factory, Databricks e serviços de armazenamento do Azure
- Carregar dados de bancos de dados relacionais, APIs e fontes baseadas em arquivos nas plataformas de dados do Azure
- Transformar dados no HPCC com ECL e no Azure com Spark SQL e PySpark por meio do Azure Databricks
- Desenvolver, manter e aprimorar notebooks e jobs do Azure Databricks
- Criar cargas de trabalho eficientes do Spark para processar grandes conjuntos de dados
- Criar modelos de dados no HPCC com ECL e no Delta Lake, Parquet e outros formatos colunares
- Ajustar cargas de trabalho de ECL, SQL e Spark para melhorar o desempenho e a escalabilidade
- Trabalhar com analistas de negócios, cientistas de dados e equipes de aplicativos para esclarecer as necessidades de dados e aprimorar as práticas de engenharia
- Desenvolver e aperfeiçoar plataformas e pipelines de dados empresariais confiáveis, escaláveis e seguros
- Fornecer soluções de dados para casos de uso de análise, relatórios e operações
Requisitos
- Domínio comprovado de SQL e lógica de transformação de dados
- Conhecimento prático de princípios de data warehousing e padrões ETL/ELT
- Experiência prática com Azure Databricks, Spark SQL e PySpark
- Experiência com Azure Data Factory, Azure Data Lake Storage Gen2 e Azure SQL ou Synapse
- Experiência no tratamento de grandes conjuntos de dados estruturados e semiestruturados
- Familiaridade com práticas de desenvolvimento Agile
- Mentalidade construtiva e disposição para aprender novas ferramentas e processos
- Compreensão do ciclo de vida do desenvolvimento de software, desde requisitos e design até implementação, testes, implantação e manutenção
- Conhecimento de princípios de engenharia de software, padrões de design e boas práticas de desenvolvimento
- Capacidade de coletar, esclarecer e documentar requisitos
- Excelentes habilidades de comunicação escrita e verbal
- Boa capacidade analítica e de resolução de problemas
- Familiaridade com a terminologia de seguros
Benefícios
- Os benefícios variam de acordo com o país do funcionário
- Suporte com acomodação ou adaptações durante o processo de contratação