AVANTTi
AVANTTi
AVANTTi est une entreprise brésilienne de services technologiques qui aide les organisations à transformer leurs initiatives en matière de technologie et d’innovation en valeur mesurable pour l’entreprise. Ses services comprennent la mise à disposition de personnel informatique et la recherche de talents, la constitution rapide d’équipes, la réalisation de projets par une usine logicielle utilisant notamment ABAP, Java et .NET, ainsi que la gestion de portefeuilles et de SAFe grâce à sa méthodologie VMO (Value Management Office). AVANTTi accompagne la transformation numérique et la mise en œuvre de solutions informatiques d’entreprise pour des organisations des secteurs bancaire, manufacturier, logistique, de la vente au détail et de l’éducation, avec des activités à Curitiba, São Paulo et Rio de Janeiro.

Ingénieur données senior Azure Databricks

Ingénieur données senior chez AVANTTi, vous concevez des pipelines Azure Databricks et des flux de travail ETL/ELT. Vous contribuez à des systèmes de données d’entreprise évolutifs pour l’analyse et les besoins métier.

Description

  • Créer et optimiser des pipelines de données avec Azure Databricks, PySpark, Azure Data Factory, Python et Azure Data Lake.
  • Développer et maintenir des flux de travail ETL/ELT pour l’intégration d’entreprise et l’analyse.
  • Ingérer, transformer, valider et rapprocher des données issues de plusieurs systèmes.
  • Établir le profil et analyser les données afin de repérer les problèmes de qualité et d’en préserver la cohérence et la fiabilité.
  • Écrire et optimiser des requêtes SQL complexes pour traiter les données efficacement.
  • Diagnostiquer les problèmes et améliorer les performances des charges de travail à grande échelle.
  • Résoudre les incidents de production de niveau 2 touchant les pipelines Azure Data Factory, les tâches Databricks et les flux de données.
  • Surveiller les pipelines de production et en assurer le support afin de maintenir leur disponibilité, leur évolutivité et leur efficacité opérationnelle.
  • Contribuer aux déploiements et aux mises en production dans les environnements de développement, de préproduction et de production.
  • Coordonner les priorités entre les projets, travailler de manière autonome et respecter les délais.

Exigences

  • Plus de huit ans d’expérience en ingénierie des données.
  • Expérience avérée en ingénierie des données et en développement ETL.
  • Solide expérience pratique d’Azure Databricks et d’Azure Data Factory (ADF).
  • Compétences avancées en développement ETL/ELT et en transformation des données.
  • Maîtrise avancée de SQL, notamment pour écrire, optimiser et ajuster des requêtes complexes.
  • Expérience de Python et de PySpark.
  • Expérience d’Azure Data Lake et de l’intégration de données d’entreprise.
  • Expérience en analyse, validation et profilage des données, ainsi qu’en assurance qualité.
  • Expérience du support, de la surveillance et du dépannage de pipelines en production.
  • Capacité à travailler de manière autonome, à s’organiser et à gérer les priorités.
  • Solides compétences en communication orale et écrite.
  • Maîtrise avancée de l’anglais.
  • Souhaité : expérience des pipelines CI/CD et des pratiques DevOps.
  • Souhaité : connaissance de Git, d’Azure DevOps ou d’outils comparables de gestion de versions et de déploiement.
  • Souhaité : connaissance des outils cloud de surveillance, de journalisation et d’observabilité.

Avantages

  • Contrat de travail sous le régime CLT.
  • Télétravail intégral.

Offres similaires

Hitss Brasil

Architecte cloud intermédiaire – Kubernetes et OpenShift

Hitss Brasil
5 001 – 10 000 Employés
ConseilLogistiqueMarketing

Contribuez aux environnements cloud et conteneurisés de Hitss Brasil, en mettant l’accent sur Kubernetes et Red Hat OpenShift. Définissez les normes d’architecture des plateformes et automatisez leur configuration avec Ansible pour favoriser la fiabilité des opérations.

Ouvrir