Simple Machines je austrálska konzultačná spoločnosť pôsobiaca v oblastiach dátovej architektúry, dátového inžinierstva, dátovej vedy a vývoja softvéru. Jej konzultanti navrhujú a vytvárajú distribuované dátové platformy a aplikácie strojového učenia pre podniky, vládne agentúry a globálne technologické spoločnosti. Tím poskytuje aj konzultácie a školenia v oblasti Kafka ako preferovaný partner spoločnosti Confluent, ako aj konzultácie a školenia v oblasti Spark a Scala prostredníctvom partnerstiev so spoločnosťami Databricks a Lightbend. Ľuďom, ktorí sa zaujímajú o prácu v dátovom inžinierstve, dátovej vede alebo vývoji softvéru, Simple Machines ponúka špecializované konzultačné prostredie zamerané na praktické využitie dát v reálnych systémoch.
Hlavný dátový inžinier (práca na diaľku, Poľsko)
Veďte návrh a realizáciu cloudových dátových platforiem, dátových tokov a dátových produktov pre Simple Machines, globálnu technologickú poradenskú spoločnosť. Určujte technické smerovanie a spolupracujte s klientmi pri práci na diaľku z Poľska.
Popis
- Zodpovedajte za architektúru moderných cloudových dátových platforiem od návrhu až po dodanie.
- Vytvárajte škálovateľné dátové ekosystémy založené na dátovej sieti, dátových produktoch a dátových zmluvách.
- Navrhujte architektúru príjmu, ukladania, spracovania a sprístupňovania dát.
- Zabezpečte, aby platformy spĺňali požiadavky na bezpečnosť, súlad s predpismi a pripravenosť na produkčné nasadenie.
- Dodávajte cloudové platformy s využitím Databricks, Snowflake, AWS a GCP.
- Prepájajte systémy klientov a zabezpečujte škálovateľný prístup k dátam pre ich používateľov.
- Vytvárajte a optimalizujte dávkové dátové toky aj toky v reálnom čase.
- Používajte Kafka, Flink, Kinesis a Pub/Sub na streamovanie a posielanie správ.
- Koordinujte pracovné postupy pomocou Airflow, Dataflow a Glue.
- Spracúvajte a transformujte rozsiahle dátové súbory pomocou Spark a Flink.
- Pracujte s relačnými, NoSQL a analytickými databázami vrátane Postgres, BigQuery, Snowflake, Cassandra a MongoDB.
- Vylepšujte formáty ukladania a spôsoby prístupu pomocou Parquet, Delta, ORC a Avro.
- Vytvárajte bezpečné riešenia v súlade s predpismi a zohľadňujte bezpečnosť už od začiatku.
- Začleňujte správu dát bez spomaľovania práce vývojárov.
- Spolupracujte priamo s klientmi, aby ste porozumeli ich výzvam a navrhovali riešenia.
- Premieňajte obchodné požiadavky na praktické technické rozhodnutia.
- Buďte pre klientov dôveryhodným technickým partnerom a poskytujte im poradenstvo.
- Stanovujte technické štandardy, vzory a postupy.
- Posudzujte návrhy a kód, poskytujte technické usmernenie a mentoring.
- Zlepšujte kvalitu dát, testovanie, pozorovateľnosť a prevádzkové postupy.
Požiadavky
- Ovládate Python a SQL na vysokej úrovni.
- Máte rozsiahle skúsenosti so Spark a modernými dátovými platformami, ako sú Databricks alebo Snowflake.
- Rozumiete cloudovým dátovým službám na AWS alebo GCP.
- Zodpovedali ste za architektúru rozsiahlych dátových platforiem.
- Máte silné zručnosti v dátovom modelovaní a prijímate kvalitné architektonické rozhodnutia.
- Pri výbere riešení vyvažujete výkon, náklady a zložitosť.
- Vytvárali a prevádzkovali ste rozsiahle dátové toky v produkčnom prostredí.
- Máte skúsenosti s viacerými technológiami ukladania a dátovými formátmi.
- Používate nástroje na správu infraštruktúry ako kódu, napríklad Terraform alebo Pulumi.
- Vytvárali ste CI/CD postupy s nástrojmi ako GitHub Actions alebo ArgoCD.
- Používali ste nástroje na testovanie a kontrolu kvality dát, napríklad dbt, Great Expectations alebo Soda.
- Máte skúsenosti s poradenstvom alebo profesionálnymi službami.
- Dokážete spochybňovať predpoklady a viesť klientov k lepším výsledkom.
- Viete mentorovať skúsených inžinierov a formovať technickú kultúru.
Benefity
- Budete riešiť náročné problémy s významným dosahom.
- Budete vytvárať moderné platformy namiesto údržby zastaraných systémov.
- Budete spolupracovať so skúsenými inžiniermi.
- Získate samostatnosť a možnosť ovplyvňovať svoju prácu.
- Budete mať príležitosti na profesionálny rozvoj.