State Street
State Street
State Street est une entreprise mondiale de services financiers qui accompagne les investisseurs institutionnels grâce à des solutions de gestion et d’administration des investissements. Son offre comprend la gestion d’actifs, les services de conservation et la recherche en investissement, soutenus par une expertise dans les domaines de la finance, des technologies financières et de la banque. L’entreprise aide ses clients à gérer des activités d’investissement complexes grâce à des données, des analyses et des capacités opérationnelles conçues pour améliorer l’efficacité et soutenir la prise de décisions financières.

Ingénieur data, vice-président adjoint - Princeton, NJ

Construisez des plateformes lakehouse sur AWS et Databricks pour soutenir les activités juridiques et de conformité de State Street. Développez des pipelines de données gouvernés pour l’analytique, le reporting et les applications d’IA/ML.

Description

  • Construire et maintenir des pipelines de données évolutifs avec PySpark, Python et Spark SQL
  • Développer et optimiser des workflows ETL/ELT Databricks avec Delta Lake
  • Mettre en œuvre une architecture lakehouse Bronze, Silver et Gold pour les plateformes de données d’entreprise
  • Gérer les Jobs, Workflows et Notebooks Databricks pour les charges de travail batch et streaming
  • Créer des frameworks réutilisables pour l’ingestion, le traitement et l’orchestration des données
  • Conteneuriser les charges de travail de données avec Docker et automatiser les processus par script
  • Connecter les pipelines Databricks à Power Apps et Power Automate
  • Exposer les données aux utilisateurs métier via des API, des connecteurs et des jeux de données sélectionnés
  • Concevoir et optimiser les architectures lakehouse Databricks
  • Intégrer SQL Server, Oracle et d’autres sources de données d’entreprise
  • Appliquer des méthodes de modélisation dimensionnelle, de partitionnement et d’optimisation
  • Traiter des formats structurés et semi-structurés, notamment JSON et Parquet
  • Améliorer les performances grâce à la mise en cache, à l’indexation et à l’optimisation de Spark
  • Publier des jeux de données sélectionnés pour Power BI, Power Apps et les workflows Power Automate
  • Maintenir la qualité des données grâce aux tests unitaires, aux frameworks de validation et aux contrôles automatisés
  • Surveiller et résoudre les problèmes des charges de travail et des pipelines Spark distribués
  • Analyser les journaux et résoudre les incidents de production dans Databricks et les environnements cloud
  • Maintenir la traçabilité et la cohérence des données ainsi que la préparation aux audits
  • Collaborer avec les équipes Juridique, Sécurité, Conformité et Données d’entreprise
  • Transformer les exigences métier en solutions d’ingénierie des données
  • Agir comme expert de référence sur Databricks et l’architecture lakehouse
  • Diriger des initiatives de manière autonome et assumer la responsabilité des livrables
  • Soutenir la gouvernance avec Databricks Unity Catalog et les contrôles AWS IAM et KMS
  • Respecter les exigences en matière de confidentialité des données, de réglementation, de sécurité et d’audit
  • Maintenir les contrôles d’accès ainsi que les normes de classification et de traitement des données
  • Travailler avec les équipes IAM et sécurité pour protéger l’accès aux données
  • Concevoir et maintenir des pipelines CI/CD avec Harness, Azure DevOps ou GitHub
  • Automatiser les déploiements d’actifs Databricks avec Databricks Repos et CLI
  • Surveiller, planifier et optimiser les workflows avec les outils d’orchestration Databricks
  • Maintenir la documentation de l’architecture, des flux de données et des procédures opérationnelles
  • Améliorer les performances, l’évolutivité et l’efficacité des coûts de la plateforme

Exigences

  • Diplôme de licence ou de master en informatique, ingénierie des données, systèmes d’information ou dans un domaine technique connexe
  • Au moins 8 ans d’expérience en ingénierie des données ou en développement de plateformes de données
  • Maîtrise pratique de Databricks et d’Apache Spark
  • Maîtrise de PySpark, Python et SQL
  • Expérience des services de données AWS, notamment S3, Glue, Lambda et IAM
  • Expérience de Delta Lake et de l’architecture lakehouse
  • Solides connaissances en traitement distribué des données
  • Solides connaissances des frameworks ETL et ELT
  • Solides connaissances des techniques de modélisation des données
  • Expérience pratique des composants Databricks tels que Delta Lake, Workflows et Unity Catalog
  • Expérience approfondie dans la création de pipelines batch et streaming de bout en bout avec AWS et Databricks
  • Connaissance de l’optimisation des performances de Spark et Delta Lake
  • Expérience dans le support de charges de travail d’analytique, de reporting ou d’IA/ML sur une plateforme lakehouse
  • Connaissance de la gouvernance des données, de la gestion des métadonnées et des contrôles de sécurité
  • Expérience dans les domaines juridique, de la conformité, des services financiers ou d’autres secteurs réglementés
  • Compréhension des concepts de données juridiques, notamment les contrats, les clauses, les obligations et les dossiers
  • Expérience du traitement des données non structurées ou des pipelines de documents et de NLP
  • Expérience de Power BI, Power Apps ou Power Platform
  • Expérience de la gestion de données sensibles dans des environnements soumis aux audits

Avantages

  • Plan d’épargne retraite 401(k) avec abondement de l’entreprise
  • Options d’assurance comprenant une assurance vie de base, une couverture médicale, dentaire, optique, invalidité de longue durée et d’autres couvertures facultatives
  • Congés rémunérés couvrant les vacances, les congés maladie, l’invalidité de courte durée et les responsabilités de garde familiale
  • Programme d’aide aux employés
  • Rémunération incitative avec possibilité de bénéficier de primes annuelles fondées sur les performances
  • Possibilité de bénéficier de certains plans d’épargne fiscalement avantageux
  • Opportunités inclusives de développement professionnel
  • Soutien flexible à l’équilibre entre vie professionnelle et vie personnelle
  • Jours de bénévolat rémunérés
  • Réseaux d’employés

Offres similaires

Thermo Fisher Scientific

Administrateur des applications Clarity PPM – Thermo Fisher Scientific, télétravail en Inde

Thermo Fisher Scientific

Administrer Clarity PPM et assurer le support de niveau 2, la surveillance, la gestion des accès, les tests et les déploiements. Contribuer aux opérations des applications d’entreprise en Inde et aux Philippines.

Ouvrir
Thermo Fisher Scientific

Administrateur des applications Clarity PPM

Thermo Fisher Scientific

Assure l’administration de Clarity PPM et le support opérationnel de niveau 2, notamment la supervision, l’assistance aux accès, les tests et les contrôles. Poste entièrement à distance, avec des horaires couvrant l’Inde et les Philippines.

Ouvrir
Avantor

Coordinateur des opérations : stocks et expéditions de laboratoire

Avantor

Coordonne les stocks, les achats, les expéditions et le service client pour les clients scientifiques d’Avantor. Le poste contribue également aux expéditions de matières dangereuses, aux rapports et aux systèmes de gestion des stocks.

Ouvrir
Endless Studios

Concepteur de programme pédagogique en création de jeux vidéo (Unity)

Endless Studios

Élaborez des cours de création de jeux vidéo pour les programmes d’enseignement professionnel et technique des lycées de Floride avec le moteur Endstar d’Endless Studios. Créez des cours passerelles vers Unity, des évaluations, des guides pédagogiques et des tutoriels pour la classe.

Ouvrir
Nivoda

Ingénieur senior en IA et apprentissage automatique, à distance aux États-Unis

Nivoda

Développez des systèmes de classement, de recommandation et de recherche multimodale pour la place de marché mondiale de bijoux de Nivoda et les vitrines des bijoutiers. Créez des capacités d’apprentissage automatique en production pour la recherche, la découverte de produits et la mise en correspondance d’images.

Ouvrir