Simple Machines australska je konzultantska tvrtka koja djeluje u području arhitekture podataka, podatkovnog inženjerstva, podatkovne znanosti i razvoja softvera. Njezini konzultanti osmišljavaju i izgrađuju distribuirane podatkovne platforme i aplikacije strojnog učenja za poduzeća, državne agencije i globalne tehnološke tvrtke. Tim pruža i savjetovanje te obuku za Kafka kao preferirani partner tvrtke Confluent, kao i savjetovanje i obuku za Spark i Scalu kroz partnerstva s tvrtkama Databricks i Lightbend. Osobama koje razmatraju karijeru u podatkovnom inženjerstvu, podatkovnoj znanosti ili razvoju softvera, Simple Machines nudi specijalizirano konzultantsko okruženje usmjereno na praktičnu primjenu podataka u stvarnim sustavima.
Glavni inženjer za podatke (rad na daljinu, Poljska)
Vodite arhitekturu i isporuku podatkovnih platformi, tokova i proizvoda u oblaku za Simple Machines, globalnu tehnološku konzultantsku tvrtku. Određujte tehnički smjer i surađujte s klijentima radeći na daljinu iz Poljske.
Opis
- Preuzmite odgovornost za arhitekturu modernih podatkovnih platformi u oblaku, od dizajna do isporuke.
- Stvarajte skalabilne podatkovne ekosustave s podatkovnom mrežom, podatkovnim proizvodima i podatkovnim ugovorima.
- Postavite arhitekturu za unos, pohranu, obradu i pristup podacima.
- Osigurajte da platforme zadovoljavaju standarde sigurnosti, usklađenosti i spremnosti za produkciju.
- Isporučujte platforme u oblaku koristeći Databricks, Snowflake, AWS i GCP.
- Povezujte klijentske sustave kako biste korisnicima omogućili skalabilan pristup podacima.
- Izrađujte i optimizirajte paketne podatkovne tokove i tokove u stvarnom vremenu.
- Koristite Kafka, Flink, Kinesis i Pub/Sub za obradu tokova i razmjenu poruka.
- Koordinirajte tijekove rada pomoću alata Airflow, Dataflow i Glue.
- Obrađujte i transformirajte velike skupove podataka pomoću alata Spark i Flink.
- Radite s relacijskim, NoSQL i analitičkim bazama podataka, uključujući Postgres, BigQuery, Snowflake, Cassandra i MongoDB.
- Poboljšavajte formate pohrane i načine pristupa pomoću alata Parquet, Delta, ORC i Avro.
- Izrađujte sigurna rješenja usklađena s propisima, uzimajući sigurnost u obzir od samog početka.
- Integrirajte upravljanje podacima bez usporavanja razvojnih tijekova rada.
- Izravno surađujte s klijentima kako biste razumjeli izazove i oblikovali rješenja.
- Pretvarajte poslovne zahtjeve u praktične inženjerske odluke.
- Savjetujte klijente kao pouzdan tehnički partner.
- Definirajte inženjerske standarde, obrasce i prakse.
- Pregledavajte dizajn i kod te pružajte tehničke smjernice i mentorstvo.
- Unaprjeđujte kvalitetu podataka, testiranje, vidljivost i operativne prakse.
Zahtjevi
- Izvrsno poznajete Python i SQL.
- Imate bogato iskustvo sa Sparkom i modernim podatkovnim platformama kao što su Databricks ili Snowflake.
- Poznajete podatkovne usluge u oblaku na AWS-u ili GCP-u.
- Vodili ste arhitekturu podatkovnih platformi velikih razmjera.
- Dobro poznajete modeliranje podataka i donosite kvalitetne arhitektonske odluke.
- Pri odabiru rješenja usklađujete performanse, troškove i složenost.
- Izrađivali ste i vodili podatkovne tokove velikih razmjera u produkciji.
- Imate iskustva s različitim tehnologijama pohrane i formatima podataka.
- Koristite alate za infrastrukturu kao kod, primjerice Terraform ili Pulumi.
- Izrađivali ste CI/CD cjevovode pomoću alata kao što su GitHub Actions ili ArgoCD.
- Koristili ste okvire za testiranje i kvalitetu podataka kao što su dbt, Great Expectations ili Soda.
- Imate iskustva u savjetovanju ili pružanju profesionalnih usluga.
- Znate propitivati pretpostavke i usmjeriti klijente prema boljim ishodima.
- Spremni ste mentorirati iskusne inženjere i oblikovati tehničku kulturu.
Pogodnosti
- Radit ćete na zahtjevnim problemima sa značajnim učinkom.
- Gradit ćete moderne platforme umjesto održavanja zastarjelih sustava.
- Surađivat ćete s iskusnim inženjerima.
- Imat ćete samostalnost i utjecaj na svoj rad.
- Imat ćete prilike za profesionalni razvoj.