RELX développe des solutions d’analyse et d’aide à la décision fondées sur l’information pour des clients professionnels et des entreprises du monde entier. Ses produits associent contenu spécialisé, données et technologie afin de favoriser de meilleures décisions et des résultats plus solides dans les secteurs du risque, scientifique, technique et médical, juridique et des expositions. RELX exerce également ses activités sur les marchés du conseil, de la santé et de l’assurance, en aidant les organisations à améliorer leur productivité, à gérer les risques, à faire progresser la recherche, à soutenir les activités juridiques et à mener des transactions commerciales plus efficaces.
Ingénieur logiciel III, Ingénierie des données - RELX, Chennai sur site
Créez des pipelines de données sur Azure et HPCC pour LexisNexis Risk Solutions. Développez des plateformes évolutives qui prennent en charge l’analyse des risques, les rapports et les besoins en données opérationnelles.
Description
- Créer et maintenir des pipelines ETL et ELT évolutifs avec Azure Data Factory, Databricks et les services de stockage Azure
- Charger des données provenant de bases de données relationnelles, d’API et de sources basées sur des fichiers vers les plateformes de données Azure
- Transformer les données sur HPCC avec ECL et dans Azure avec Spark SQL et PySpark via Azure Databricks
- Développer, maintenir et améliorer les notebooks et les tâches Azure Databricks
- Créer des charges de travail Spark efficaces pour traiter de grands ensembles de données
- Créer des modèles de données sur HPCC avec ECL et dans Delta Lake, Parquet et d’autres formats en colonnes
- Optimiser les charges de travail ECL, SQL et Spark pour améliorer les performances et l’évolutivité
- Collaborer avec les analystes métier, les data scientists et les équipes applicatives afin de clarifier les besoins en données et de faire progresser les pratiques d’ingénierie
- Développer et perfectionner des plateformes et des pipelines de données d’entreprise fiables, évolutifs et sécurisés
- Fournir des solutions de données pour les cas d’utilisation liés à l’analyse, aux rapports et aux opérations
Exigences
- Maîtrise démontrée de SQL et de la logique de transformation des données
- Connaissance pratique des principes de l’entreposage de données et des modèles ETL/ELT
- Expérience pratique d’Azure Databricks, de Spark SQL et de PySpark
- Expérience d’Azure Data Factory, d’Azure Data Lake Storage Gen2 et d’Azure SQL ou Synapse
- Expérience de la gestion de grands ensembles de données structurées et semi-structurées
- Familiarité avec les pratiques de développement Agile
- Esprit constructif et volonté d’apprendre de nouveaux outils et processus
- Compréhension du cycle de vie du développement logiciel, des exigences et de la conception à l’implémentation, aux tests, au déploiement et à la maintenance
- Connaissance des principes d’ingénierie logicielle, des modèles de conception et des bonnes pratiques de développement
- Capacité à recueillir, clarifier et documenter les exigences
- Excellentes compétences en communication écrite et orale
- Solides capacités d’analyse et de résolution de problèmes
- Familiarité avec la terminologie de l’assurance
Avantages
- Les avantages varient selon le pays du salarié
- Soutien en matière d’hébergement ou d’aménagements pendant le processus de recrutement