Simple Machines est un cabinet de conseil australien qui intervient en architecture et ingénierie des données, en science des données et en développement logiciel. Ses consultants conçoivent et développent des plateformes de données distribuées et des applications d’apprentissage automatique pour des entreprises, des organismes publics et des groupes technologiques internationaux. L’équipe propose également du conseil et des formations sur Kafka en tant que partenaire Preferred de Confluent, ainsi que sur Spark et Scala dans le cadre de ses partenariats avec Databricks et Lightbend. Pour les personnes qui envisagent une carrière en ingénierie des données, en science des données ou en développement logiciel, Simple Machines offre un environnement de conseil spécialisé, axé sur la mise en œuvre des données dans des systèmes concrets.
Ingénieur principal en données (télétravail, Pologne)
Pilotez l’architecture et la livraison de plateformes de données natives du cloud, de pipelines et de produits de données pour Simple Machines, un cabinet international de conseil en technologie. Définissez l’orientation technique et collaborez avec les clients en travaillant à distance depuis la Pologne.
Description
- Prenez en charge l’architecture de plateformes de données modernes natives du cloud, de la conception à la livraison.
- Créez des écosystèmes de données évolutifs avec le data mesh, des produits de données et des contrats de données.
- Définissez l’architecture de l’ingestion, du stockage, du traitement et de l’accès aux données.
- Veillez au respect des normes de sécurité, de conformité et de préparation à la production des plateformes.
- Livrez des plateformes natives du cloud avec Databricks, Snowflake, AWS et GCP.
- Connectez les systèmes des clients pour fournir un accès évolutif aux données.
- Créez et optimisez des pipelines de données par lots et en temps réel.
- Utilisez Kafka, Flink, Kinesis et Pub/Sub pour le streaming et la messagerie.
- Coordonnez les flux de travail avec Airflow, Dataflow et Glue.
- Traitez et transformez de grands ensembles de données avec Spark et Flink.
- Travaillez avec des bases de données relationnelles, NoSQL et analytiques, notamment Postgres, BigQuery, Snowflake, Cassandra et MongoDB.
- Améliorez les formats de stockage et les modes d’accès avec Parquet, Delta, ORC et Avro.
- Créez des solutions sécurisées et conformes en intégrant la sécurité dès le départ.
- Intégrez la gouvernance des données sans ralentir les flux de travail des développeurs.
- Collaborez directement avec les clients pour comprendre leurs défis et concevoir des solutions.
- Transformez les besoins métier en choix d’ingénierie pratiques.
- Conseillez les clients en tant que partenaire technique de confiance.
- Définissez les normes, les modèles et les pratiques d’ingénierie.
- Examinez les conceptions et le code, et fournissez des conseils techniques et du mentorat.
- Renforcez la qualité des données, les tests, l’observabilité et les pratiques opérationnelles.
Exigences
- Maîtrisez Python et SQL.
- Possédez une solide expérience de Spark et de plateformes de données modernes comme Databricks ou Snowflake.
- Comprenez les services de données cloud sur AWS ou GCP.
- Ayez déjà pris en charge l’architecture de plateformes de données à grande échelle.
- Maîtrisez la modélisation des données et prenez des décisions architecturales pertinentes.
- Équilibrez les performances, les coûts et la complexité dans le choix des solutions.
- Ayez créé et exploité des pipelines de données de production à grande échelle.
- Ayez de l’expérience avec plusieurs technologies de stockage et formats de données.
- Utilisez des outils d’infrastructure en tant que code comme Terraform ou Pulumi.
- Ayez créé des pipelines CI/CD avec des outils comme GitHub Actions ou ArgoCD.
- Ayez utilisé des cadres de test et de qualité des données comme dbt, Great Expectations ou Soda.
- Ayez de l’expérience dans le conseil ou les services professionnels.
- Sachez remettre en question les hypothèses et orienter les clients vers de meilleurs résultats.
- Soyez à l’aise pour accompagner des ingénieurs seniors et contribuer à la culture technique.
Avantages
- Travaillez sur des défis complexes qui ont un impact concret.
- Créez des plateformes modernes au lieu de maintenir des systèmes hérités.
- Collaborez avec des ingénieurs expérimentés.
- Bénéficiez d’autonomie et d’influence dans votre travail.
- Profitez de possibilités de développement professionnel.