Ingénieur·e senior en données, BigQuery

À distance Temps plein Senior Langue Requise : anglais Ingénieur data

155 000 $ – 180 000 $ / an

Airflow BigQuery Cloud Kafka MySQL PHP PySpark Python Spark SQL

Description

Créez et gérez des pipelines de données opérationnels vers BigQuery, avec des chargements incrémentiels et la capture des modifications si nécessaire.
Créez des jeux de données bronze, silver et gold, comprenant des entités métier partagées et des indicateurs de reporting.
Automatisez la validation des données et le rapprochement entre les systèmes sources et les jeux de données cibles.
Propagez les mises à jour, les suppressions et les corrections historiques des données sources vers les jeux de données en aval.
Surveillez l’état des pipelines, gérez les exceptions et les changements de schéma, et documentez les procédures de reprise et la traçabilité des données.
Collaborez avec les équipes de business intelligence et de science des données pour fournir des jeux de données documentés et performants.
Coordonnez-vous avec l’équipe Ingénierie et les responsables des systèmes métier afin de combler les lacunes des données sources et de définir des transferts de données fiables.
Définissez et appliquez des normes d’ingénierie pour les tests, le déploiement, la sécurité et la gestion des coûts dans le cadre de l’architecture d’entreprise convenue.
Examinez les pipelines existants et établissez des pratiques d’ingénierie reproductibles.
Fournissez des jeux de données de production pour les besoins prioritaires de reporting.
Mettez en place les premiers contrôles et mécanismes de suivi de la qualité des données.
Vérifiez que les corrections historiques des données sources apparaissent fidèlement dans les rapports en aval.

Exigences

Au moins cinq ans d’expérience en ingénierie des données, avec une responsabilité sur des pipelines en production.
Maîtrise avancée de SQL et très bonne maîtrise de Python.
Expérience de BigQuery en production, notamment du partitionnement, du clustering, des performances de requêtes et du contrôle des coûts.
Expérience des outils de transformation et d’orchestration des données tels que dbt, Airflow, Cloud Composer, Dagster ou équivalents.
Expérience de l’extraction de données depuis des bases opérationnelles et de la gestion des chargements incrémentiels, mises à jour, suppressions, rechargements et corrections historiques.
Solide compréhension de la modélisation dimensionnelle et du suivi des données historiques.
Expérience des contrôles automatisés de qualité des données, du rapprochement, de la surveillance, des alertes et de la reprise.
Expérience de Git, de la revue de code, des tests automatisés et de l’intégration et du déploiement continus (CI/CD).
Capacité à travailler avec les équipes Ingénierie, analyse et métiers.
Expérience de MySQL, ClickHouse, Kafka ou Google Pub/Sub.
Connaissance de Parquet, de l’efficacité du stockage et de Spark ou PySpark.
Capacité à retracer les définitions des données et la logique métier dans le code applicatif ou un ORM ; une connaissance de PHP est un plus.
Expérience de Salesforce, NetSuite, Power BI ou de systèmes comparables.
Connaissance de l’IAM, des comptes de service, du principe du moindre privilège et de l’authentification sécurisée des charges de travail.
Expérience des outils de métadonnées, de traçabilité ou d’observabilité des données.
Expérience de l’utilisation de l’IA ou de l’automatisation pour les opérations de pipelines, l’analyse d’incidents ou l’accès gouverné aux données pour des applications LLM.
Expérience dans l’infrastructure cloud, les télécommunications, les centres de données ou un autre environnement à forte intensité d’actifs.

Avantages

L’entreprise prend en charge 100 % des cotisations d’assurance maladie, dentaire et optique de la personne salariée.
Abondement au 401(k) à hauteur de 100 % des cotisations, dans la limite de 4 %, avec acquisition immédiate des droits.
Remboursement annuel de 2 500 $ pour le développement professionnel.
11 jours fériés, des congés payés cumulés et un dispositif de report des jours non pris.
Congés payés supplémentaires après trois et dix ans d’ancienneté.
Un mois de congé sabbatique rémunéré tous les cinq ans.
Prime annuelle d’anniversaire d’ancienneté.
Allocation de 500 $ la première année pour l’aménagement d’un bureau à distance, puis de 400 $ chaque année suivante.
Remboursement des frais Internet jusqu’à 75 $ par mois.
Remboursement de l’abonnement à une salle de sport jusqu’à 50 $ par mois.
Abonnement Wellable pris en charge par l’entreprise.

Offres similaires

5 001 – 10 000 Employés

Hybride Temps plein Senior Langue Requise : anglais Ingénieur solutions

New York

173 000 $ – 295 000 $ / an

Assurance Finance Services bancaires

Directeur associé en conseil technologique, il conçoit et déploie des plateformes de données Databricks pour les clients de Protiviti. Il dirige les missions clients, les équipes, les relations et le développement commercial.

Ouvrir

Canada Hybride Temps plein Senior Langue Requise : anglais Langue Requise : français Architecte

Conseiller le Mouvement Desjardins en architecture TI d’entreprise et sur des initiatives stratégiques complexes. Définir des solutions couvrant les applications, les données, la sécurité et l’infrastructure.

Ouvrir

Sponsor de visa H1B Conseil Logistique Télécommunications

Afrique du Sud Sur site Temps plein Senior Langue Requise : anglais Architecte

Conçoit des systèmes de fibre, des intégrations et des processus pour Vodacom Afrique du Sud. Pilote des travaux transverses couvrant FTTH, FTTB, les services fixes et les infrastructures de tiers.

Ouvrir

5 001 – 10 000 Employés

Hybride Temps plein Senior Langue Requise : anglais Ingénieur solutions

149 000 $ – 239 000 $ / an

Senior Manager chez Protiviti, la personne conçoit des solutions d’ingénierie et d’architecture des données avec Databricks pour les clients. Elle dirige la réalisation des projets, la gestion des risques, le développement commercial et les équipes techniques.

Ouvrir

5 001 – 10 000 Employés

Hybride Temps plein Intermédiaire Senior Langue Requise : anglais Ingénieur solutions

New York

Virginie

145 000 $ – 232 000 $ / an

Sponsor de visa H1B Automobile Industrie manufacturière Transport

Pilotez les missions d’ingénierie des données Databricks pour les clients de Protiviti, de la stratégie de plateforme et de la migration à la livraison et à la gouvernance. Accompagnez les équipes et développez les relations clients dans différents secteurs.

Ouvrir

Afrique du Sud Hybride Temps plein Intermédiaire Senior Langue Requise : anglais Assistance informatique

Définissez la stratégie technologique sécurisée et la transformation de l’entreprise pour les activités de mobilité de Volkswagen Group Africa. Pilotez l’architecture, la gouvernance, l’intégration et les feuilles de route technologiques.

Ouvrir

1 001 – 5 000 Employés

Agriculture Automobile Construction

Brésil Hybride Temps plein Senior Langue Requise : anglais Langue Requise : portugais Ingénieur solutions

Azure Cloud Cybersécurité

Définir l’architecture d’entreprise et les solutions Azure de Belgo Arames. Piloter l’intégration, le cloud, les données, l’IA et la cybersécurité dans des environnements industriels.

Ouvrir

5 001 – 10 000 Employés

Hybride Temps plein Intermédiaire Senior Langue Requise : anglais Ingénieur solutions

136 000 $ – 217 000 $ / an

Pilotez la conception et la réalisation de plateformes de données modernes et de solutions d’ingénierie des données avec Databricks pour les clients de Protiviti. Guidez l’architecture, les migrations, la gouvernance et le développement des équipes dans divers secteurs.

Ouvrir

5 001 – 10 000 Employés

Hybride Temps plein Senior Langue Requise : anglais Ingénieur solutions

162 000 $ – 276 000 $ / an

Sponsor de visa de travailleur qualifié Conseil Industrie manufacturière Logistique

Pilotez des missions pour les clients de Protiviti en concevant des solutions de données avec Databricks et en les conseillant sur les risques technologiques. Développez l’activité, guidez la réalisation des projets et accompagnez les équipes dans un poste de conseil hybride.

Ouvrir

51 – 200 Employés