Snowflake
Snowflake
Snowflake propose une plateforme de données basée sur le cloud pour stocker, traiter et analyser des informations à grande échelle. Son architecture centralisée aide les entreprises à regrouper leurs données, à exécuter efficacement des requêtes complexes et à prendre en charge diverses charges de travail au fur et à mesure de l’évolution de leurs besoins. La plateforme de l’entreprise s’adresse notamment aux professionnels de l’informatique cloud, des données, de l’analyse, du conseil et des technologies marketing, avec des opportunités façonnées par les équipes qui développent et soutiennent les infrastructures de données modernes.

Responsable senior de l’ingénierie, ingénierie du runtime Spark

Dirigez l’équipe du compilateur et du runtime Spark de Snowflake, définissez l’orientation technique et guidez l’architecture, les performances et la fiabilité. Renforcez l’organisation d’ingénierie tout en faisant progresser les capacités de production pour les charges de travail Spark.

Description

  • Dirigez une équipe de 5 à 8 ingénieurs qui développent des capacités de compilateur et de runtime pour les charges de travail Spark en production chez Snowflake.
  • Définissez l’orientation technique de la compilation des requêtes Spark et de l’intégration au runtime.
  • Guidez l’architecture, examinez les conceptions et le code critiques, et étudiez les problèmes complexes de correction, de performances et de fiabilité.
  • Améliorez les performances des charges de travail et l’efficacité des coûts grâce au profilage, à une compilation plus rapide, à un meilleur accès aux métadonnées et à la collaboration avec les équipes du moteur de requêtes.
  • Définissez les pratiques de correction et de compatibilité, notamment les tests différentiels avec Apache Spark, la couverture des régressions et la gestion des comportements non pris en charge.
  • Assumez la responsabilité de la qualité en production en matière d’observabilité, de réponse aux incidents, de reprise après défaillance et de déploiements sécurisés.
  • Recrutez, accompagnez et faites progresser les ingénieurs ; fournissez des retours, gérez les performances et soutenez leur évolution professionnelle.
  • Collaborez avec des responsables techniques seniors et la gestion des produits pour prioriser les investissements, coordonner les dépendances et réaliser la feuille de route.
  • Testez les modifications sur des charges de travail représentatives des clients et suivez la compatibilité, la latence, la fiabilité et l’efficacité des coûts.

Exigences

  • Au moins 2 ans d’expérience directe en gestion d’équipes d’ingénierie, avec un bilan de développement des ingénieurs et de livraison de systèmes en production.
  • Au moins 5 ans d’expérience pratique en ingénierie logicielle, avec une expérience substantielle des compilateurs, des systèmes de traitement de requêtes ou de l’infrastructure de runtime.
  • Expertise approfondie dans un domaine pertinent, comme l’architecture des compilateurs et les transformations d’IR, le traitement des requêtes relationnelles, la sémantique des langages et les systèmes de types, ou l’intégration au runtime.
  • Maîtrise de Scala, Java, C++ ou d’un langage d’implémentation comparable, avec la capacité d’examiner du code de production et de guider les décisions techniques.
  • Solides fondamentaux en systèmes, notamment en concurrence, comportement de la mémoire et analyse des performances, ainsi qu’une expérience du débogage de problèmes complexes en production.
  • Capacité à transformer les besoins techniques et ceux des clients en priorités d’ingénierie, et à collaborer efficacement entre équipes et sites.
  • Souhaité : expérience des composants internes d’Apache Spark, de Catalyst, de Spark Connect ou des API DataFrame.
  • Souhaité : expérience de l’algèbre relationnelle, de la génération SQL, de l’optimisation des requêtes ou des systèmes d’exécution de bases de données.
  • Souhaité : expérience des performances Scala/JVM, des fonctions de runtime natives, de la mise en cache des métadonnées ou de l’optimisation des performances de compilation.
  • Souhaité : expérience de la création de cadres de tests de compatibilité, de tests différentiels, de benchmarks de performance ou d’outils d’observabilité en production pour des systèmes de données.
  • Souhaité : expérience de la conduite de systèmes jusqu’à leur adoption par les clients, leur mise en condition de production et leurs déploiements progressifs.

Offres similaires

Doctronic

Responsable senior de l’ingénierie produit

Doctronic

Dirigez les ingénieurs produit qui développent les conseils de santé par IA et les services de consultation médicale de Doctronic. Apportez une orientation technique concrète aux systèmes web, mobiles, backend et d’intelligence artificielle.

Ouvrir
Pebl

Responsable senior de l’ingénierie, croissance

Pebl
501 – 1 000 Employés
ConseilJuridiqueSoins de santé

Dirigez l’équipe d’ingénierie de croissance de Pebl, conçue autour de l’IA, et développez des capacités de plateforme pour le recrutement mondial, la paie et la gestion des effectifs. Pilotez les initiatives d’acquisition et de fidélisation avec React, TypeScript, AWS et un leadership technique opérationnel.

Ouvrir
Plaid

Responsable senior de l’ingénierie, parcours d’intégration des particuliers — Plaid

Plaid
501 – 1 000 Employés
APIB2BFintech

Dirigez l’équipe d’ingénierie qui développe la plateforme unifiée d’intégration financière et les expériences Link destinées aux particuliers chez Plaid. Accompagnez la consolidation de la plateforme tout en préservant la fiabilité des parcours d’intégration à fort trafic.

Ouvrir
U.S. Bank

Responsable de l’ingénierie logicielle, paiements commerciaux

U.S. Bank

Dirige des équipes d’ingénierie qui développent des solutions de paiements commerciaux, de cartes d’entreprise, de dépenses professionnelles et d’intégration financière chez U.S. Bank. Oriente l’architecture, la fiabilité, les opérations de production et les feuilles de route d’ingénierie.

Ouvrir
Lambda

Responsable de l’ingénierie de la plateforme cloud centrale

Lambda

Dirigez l’équipe qui développe les services fondamentaux Kubernetes et cloud distribué de Lambda pour les infrastructures d’IA. Le poste couvre le développement de l’équipe, la réalisation technique, la fiabilité et les opérations dans plusieurs régions.

Ouvrir