Simple Machines is een Australisch adviesbureau dat actief is op het gebied van data-architectuur, data-engineering, data science en softwareontwikkeling. De consultants ontwerpen en bouwen gedistribueerde dataplatforms en machinelearningtoepassingen voor bedrijven, overheidsinstanties en internationale technologiebedrijven. Als Preferred Confluent-partner biedt het team ook advies en trainingen over Kafka. Via samenwerkingen met Databricks en Lightbend verzorgt het daarnaast advies en trainingen over Spark en Scala. Voor mensen die interesse hebben in functies in data-engineering, data science of softwareontwikkeling biedt Simple Machines een gespecialiseerde adviesomgeving, gericht op het toepassen van data in praktijksystemen.
Principal Data Engineer (Remote, Polen)
Leid de architectuur en realisatie van cloud-native dataplatforms, pipelines en dataproducten voor Simple Machines, een wereldwijd technologieadviesbureau. Bepaal de technische koers en werk samen met klanten terwijl je op afstand vanuit Polen werkt.
Beschrijving
- Neem de architectuur van moderne cloud-native dataplatforms voor je rekening, van ontwerp tot oplevering.
- Bouw schaalbare data-ecosystemen met data mesh, dataproducten en datacontracten.
- Bepaal de architectuur voor data-inname, opslag, verwerking en toegang.
- Zorg dat platforms voldoen aan eisen voor beveiliging, compliance en productiegeschiktheid.
- Lever cloud-native platforms met Databricks, Snowflake, AWS en GCP.
- Koppel klantsystemen om consumenten schaalbare toegang tot data te bieden.
- Bouw en optimaliseer batch- en realtime datapipelines.
- Gebruik Kafka, Flink, Kinesis en Pub/Sub voor streaming en berichtenverkeer.
- Coördineer workflows met Airflow, Dataflow en Glue.
- Verwerk en transformeer grote datasets met Spark en Flink.
- Werk met relationele, NoSQL- en analytische databases, waaronder Postgres, BigQuery, Snowflake, Cassandra en MongoDB.
- Verbeter opslagformaten en toegangspatronen met Parquet, Delta, ORC en Avro.
- Bouw veilige, compliant oplossingen en neem beveiliging vanaf het begin mee.
- Integreer datagovernance zonder ontwikkelworkflows te vertragen.
- Werk rechtstreeks met klanten samen om uitdagingen te begrijpen en oplossingen vorm te geven.
- Vertaal zakelijke vereisten naar praktische technische keuzes.
- Adviseer klanten als vertrouwde technische partner.
- Bepaal engineeringstandaarden, patronen en werkwijzen.
- Beoordeel ontwerpen en code en bied technische begeleiding en mentorschap.
- Verbeter datakwaliteit, tests, observability en operationele werkwijzen.
Vereisten
- Beschik over sterke vaardigheden in Python en SQL.
- Heb diepgaande ervaring met Spark en moderne dataplatforms zoals Databricks of Snowflake.
- Begrijp clouddiensten voor data op AWS of GCP.
- Heb de architectuur van grootschalige dataplatforms in eigendom gehad.
- Pas sterke vaardigheden in datamodellering toe en neem solide architectuurbeslissingen.
- Weeg prestaties, kosten en complexiteit zorgvuldig af bij het kiezen van oplossingen.
- Heb grootschalige datapipelines voor productie gebouwd en beheerd.
- Heb ervaring met meerdere opslagtechnologieën en dataformaten.
- Gebruik infrastructure-as-code-tools zoals Terraform of Pulumi.
- Heb CI/CD-pipelines gebouwd met tools zoals GitHub Actions of ArgoCD.
- Heb frameworks voor datatests en datakwaliteit gebruikt, zoals dbt, Great Expectations of Soda.
- Heb ervaring in consultancy of professionele dienstverlening.
- Kun je aannames ter discussie stellen en klanten naar betere resultaten sturen.
- Voel je je op je gemak bij het begeleiden van senior engineers en het vormgeven van de technische cultuur.
Voordelen
- Werk aan uitdagende vraagstukken met betekenisvolle impact.
- Bouw moderne platforms in plaats van legacy-systemen te onderhouden.
- Werk samen met ervaren engineers.
- Krijg autonomie en invloed in je werk.
- Krijg mogelijkheden om je professioneel te ontwikkelen.