Simple Machines è una società di consulenza australiana attiva nell’architettura e nell’ingegneria dei dati, nella data science e nello sviluppo software. I suoi consulenti progettano e realizzano piattaforme dati distribuite e applicazioni di apprendimento automatico per aziende, enti pubblici e società tecnologiche globali. Il team offre anche consulenza e formazione su Kafka in qualità di partner Preferred di Confluent, oltre a consulenza e formazione su Spark e Scala attraverso le partnership con Databricks e Lightbend. Per chi valuta opportunità nell’ingegneria dei dati, nella data science o nello sviluppo software, Simple Machines propone un ambiente di consulenza specializzato, orientato all’applicazione dei dati in sistemi reali.
Principal Data Engineer (da remoto, Polonia)
Guida l’architettura e la realizzazione di piattaforme dati cloud-native, pipeline e prodotti dati per Simple Machines, una società globale di consulenza tecnologica. Definisci l’indirizzo tecnico e collabora con i clienti lavorando da remoto dalla Polonia.
Descrizione
- Assumi la responsabilità dell’architettura di moderne piattaforme dati cloud-native, dalla progettazione alla realizzazione.
- Crea ecosistemi di dati scalabili con data mesh, prodotti dati e contratti sui dati.
- Definisci l’architettura per acquisizione, archiviazione, elaborazione e accesso ai dati.
- Assicura che le piattaforme soddisfino gli standard di sicurezza, conformità e prontezza per la produzione.
- Realizza piattaforme cloud-native con Databricks, Snowflake, AWS e GCP.
- Collega i sistemi dei clienti per offrire un accesso scalabile ai dati.
- Crea e ottimizza pipeline di dati batch e in tempo reale.
- Usa Kafka, Flink, Kinesis e Pub/Sub per lo streaming e la messaggistica.
- Coordina i flussi di lavoro con Airflow, Dataflow e Glue.
- Elabora e trasforma grandi insiemi di dati con Spark e Flink.
- Lavora con database relazionali, NoSQL e analitici, tra cui Postgres, BigQuery, Snowflake, Cassandra e MongoDB.
- Migliora i formati di archiviazione e i modelli di accesso con Parquet, Delta, ORC e Avro.
- Crea soluzioni sicure e conformi, considerando la sicurezza fin dall’inizio.
- Integra la governance dei dati senza rallentare i flussi di lavoro degli sviluppatori.
- Collabora direttamente con i clienti per comprenderne le sfide e definire soluzioni.
- Trasforma i requisiti aziendali in scelte ingegneristiche concrete.
- Consiglia i clienti come partner tecnico di fiducia.
- Definisci standard, modelli e pratiche di ingegneria.
- Esamina progetti e codice, offrendo guida tecnica e mentoring.
- Rafforza la qualità dei dati, i test, l’osservabilità e le pratiche operative.
Requisiti
- Hai solide competenze in Python e SQL.
- Hai una profonda esperienza con Spark e piattaforme dati moderne come Databricks o Snowflake.
- Conosci i servizi dati cloud su AWS o GCP.
- Hai gestito l’architettura di piattaforme dati su larga scala.
- Applichi solide competenze di modellazione dei dati e prendi decisioni architetturali ponderate.
- Bilanci prestazioni, costi e complessità nella scelta delle soluzioni.
- Hai creato e gestito pipeline dati di produzione su larga scala.
- Hai esperienza con diverse tecnologie di archiviazione e formati di dati.
- Usi strumenti di infrastruttura come codice, come Terraform o Pulumi.
- Hai realizzato pipeline CI/CD con strumenti come GitHub Actions o ArgoCD.
- Hai utilizzato framework per test e qualità dei dati come dbt, Great Expectations o Soda.
- Hai esperienza nella consulenza o nei servizi professionali.
- Sai mettere in discussione le ipotesi e guidare i clienti verso risultati migliori.
- Ti trovi a tuo agio nel fare mentoring a ingegneri senior e nel contribuire alla cultura tecnica.
Benefit
- Lavori su sfide complesse con un impatto significativo.
- Realizzi piattaforme moderne invece di mantenere sistemi legacy.
- Collabori con ingegneri esperti.
- Hai autonomia e influenza nel tuo lavoro.
- Hai opportunità di crescita professionale.