Simple Machines er et australsk konsulentselskap som arbeider med dataarkitektur, datateknikk, datavitenskap og programvareutvikling. Konsulentene designer og bygger distribuerte dataplattformer og maskinlæringsapplikasjoner for bedrifter, offentlige etater og globale teknologiselskaper. Teamet tilbyr også rådgivning og opplæring innen Kafka som Preferred Confluent-partner, samt rådgivning og opplæring innen Spark og Scala gjennom partnerskapene med Databricks og Lightbend. For dem som utforsker roller innen datateknikk, datavitenskap eller programvareutvikling, tilbyr Simple Machines et spesialisert konsulentmiljø med fokus på å ta data i bruk i reelle systemer.
Ledende dataingeniør (fjernarbeid, Polen)
Led arkitektur og leveranse av skybaserte dataplattformer, datapipelines og dataprodukter hos Simple Machines, et globalt teknologikonsulentselskap. Sett den tekniske retningen og samarbeid med kunder mens du jobber eksternt fra Polen.
Beskrivelse
- Ha ansvar for arkitekturen til moderne skybaserte dataplattformer fra design til leveranse.
- Skape skalerbare dataøkosystemer med data mesh, dataprodukter og datakontrakter.
- Fastsette arkitekturen for datainnhenting, lagring, behandling og tilgang.
- Sikre at plattformene oppfyller krav til sikkerhet, etterlevelse og produksjonsberedskap.
- Levere skybaserte plattformer med Databricks, Snowflake, AWS og GCP.
- Koble sammen kundenes systemer for å gi brukere skalerbar datatilgang.
- Bygge og optimalisere batch- og sanntidspipelines for data.
- Bruke Kafka, Flink, Kinesis og Pub/Sub til strømming og meldingshåndtering.
- Koordinere arbeidsflyter med Airflow, Dataflow og Glue.
- Behandle og transformere store datasett med Spark og Flink.
- Arbeide med relasjonsdatabaser, NoSQL-databaser og analysedatabaser, blant annet Postgres, BigQuery, Snowflake, Cassandra og MongoDB.
- Forbedre lagringsformater og tilgangsmønstre med Parquet, Delta, ORC og Avro.
- Bygge sikre løsninger som oppfyller regelverk, med sikkerhet ivaretatt fra starten.
- Integrere datastyring uten å forsinke utviklernes arbeidsflyt.
- Samarbeide direkte med kunder for å forstå utfordringer og utforme løsninger.
- Gjøre forretningskrav om til praktiske tekniske valg.
- Rådgi kunder som en betrodd teknisk partner.
- Definere tekniske standarder, mønstre og praksiser.
- Gjennomgå design og kode, og gi teknisk veiledning og mentorskap.
- Styrke datakvalitet, testing, observerbarhet og driftspraksis.
Krav
- Ha gode ferdigheter i Python og SQL.
- Ha bred erfaring med Spark og moderne dataplattformer som Databricks eller Snowflake.
- Forstå skybaserte datatjenester på AWS eller GCP.
- Ha hatt ansvar for arkitekturen til dataplattformer i stor skala.
- Ha gode ferdigheter innen datamodellering og ta veloverveide arkitekturbeslutninger.
- Veie ytelse, kostnader og kompleksitet mot hverandre når du velger løsninger.
- Ha bygget og driftet datapipelines i stor skala i produksjon.
- Ha erfaring med flere lagringsteknologier og dataformater.
- Bruke verktøy for infrastruktur som kode, for eksempel Terraform eller Pulumi.
- Ha bygget CI/CD-pipelines med verktøy som GitHub Actions eller ArgoCD.
- Ha brukt rammeverk for datatesting og datakvalitet, for eksempel dbt, Great Expectations eller Soda.
- Ha erfaring fra konsulentvirksomhet eller profesjonelle tjenester.
- Kunne utfordre antakelser og lede kunder mot bedre resultater.
- Være komfortabel med å veilede erfarne ingeniører og forme den tekniske kulturen.
Fordeler
- Jobbe med krevende problemer som har meningsfull innvirkning.
- Bygge moderne plattformer i stedet for å vedlikeholde eldre systemer.
- Samarbeide med erfarne ingeniører.
- Ha selvstendighet og innflytelse i arbeidet.
- Få muligheter til faglig utvikling.