Simple Machines er et australsk konsulentfirma, der arbejder med dataarkitektur, data engineering, datavidenskab og softwareudvikling. Firmaets konsulenter designer og bygger distribuerede dataplatforme og maskinlæringsapplikationer for virksomheder, offentlige myndigheder og globale teknologivirksomheder. Teamet tilbyder også rådgivning og undervisning i Kafka som Preferred Confluent-partner samt rådgivning og undervisning i Spark og Scala gennem partnerskaber med Databricks og Lightbend. For dem, der undersøger roller inden for data engineering, datavidenskab eller softwareudvikling, tilbyder Simple Machines et specialiseret konsulentmiljø med fokus på at omsætte data til løsninger i virkelige systemer.
Ledende dataingeniør (fjernarbejde, Polen)
Led arkitektur og levering af cloudbaserede dataplatforme, datapipelines og dataprodukter hos Simple Machines, et globalt teknologikonsulenthus. Sæt den tekniske retning, og samarbejd med kunder, mens du arbejder på afstand fra Polen.
Beskrivelse
- Have ansvaret for arkitekturen af moderne cloudbaserede dataplatforme fra design til levering.
- Skabe skalerbare dataøkosystemer med data mesh, dataprodukter og datakontrakter.
- Fastlægge arkitekturen for dataindlæsning, lagring, behandling og adgang.
- Sikre, at platformene lever op til kravene til sikkerhed, compliance og produktionsparathed.
- Levere cloudbaserede platforme med Databricks, Snowflake, AWS og GCP.
- Forbinde kundernes systemer, så brugerne får skalerbar dataadgang.
- Bygge og optimere batch- og realtidspipelines til data.
- Bruge Kafka, Flink, Kinesis og Pub/Sub til streaming og meddelelseshåndtering.
- Koordinere arbejdsgange med Airflow, Dataflow og Glue.
- Behandle og transformere store datasæt med Spark og Flink.
- Arbejde med relationelle databaser, NoSQL-databaser og analysedatabaser, herunder Postgres, BigQuery, Snowflake, Cassandra og MongoDB.
- Forbedre lagringsformater og adgangsmønstre med Parquet, Delta, ORC og Avro.
- Bygge sikre løsninger, der overholder reglerne, med sikkerhed indtænkt fra start.
- Integrere datastyring uden at forsinke udviklernes arbejdsgange.
- Samarbejde direkte med kunder for at forstå udfordringer og udforme løsninger.
- Omsætte forretningskrav til praktiske tekniske valg.
- Rådgive kunder som en betroet teknisk partner.
- Fastlægge tekniske standarder, mønstre og praksisser.
- Gennemgå design og kode samt give teknisk vejledning og mentorstøtte.
- Styrke datakvalitet, test, observerbarhed og driftspraksis.
Krav
- Have stærke færdigheder i Python og SQL.
- Have dyb erfaring med Spark og moderne dataplatforme som Databricks eller Snowflake.
- Forstå cloudbaserede datatjenester på AWS eller GCP.
- Have haft ansvaret for arkitekturen af dataplatforme i stor skala.
- Have stærke færdigheder inden for datamodellering og træffe velovervejede arkitekturbeslutninger.
- Afveje ydeevne, omkostninger og kompleksitet, når løsninger vælges.
- Have bygget og drevet datapipelines i stor skala i produktion.
- Have erfaring med flere lagringsteknologier og dataformater.
- Bruge værktøjer til infrastruktur som kode, f.eks. Terraform eller Pulumi.
- Have bygget CI/CD-pipelines med værktøjer som GitHub Actions eller ArgoCD.
- Have brugt værktøjer til datatest og datakvalitet som dbt, Great Expectations eller Soda.
- Have erfaring fra konsulentbranchen eller professionelle tjenesteydelser.
- Kunne udfordre antagelser og lede kunder frem mod bedre resultater.
- Være tryg ved at vejlede erfarne ingeniører og præge den tekniske kultur.
Fordele
- Arbejde med udfordrende problemer, der har en meningsfuld effekt.
- Bygge moderne platforme frem for at vedligeholde ældre systemer.
- Samarbejde med erfarne ingeniører.
- Have selvstændighed og indflydelse i arbejdet.
- Få muligheder for faglig udvikling.