Simple Machines je australská konzultační společnost působící v oblasti datové architektury, datového inženýrství, datové vědy a vývoje softwaru. Její konzultanti navrhují a vytvářejí distribuované datové platformy a aplikace strojového učení pro podniky, státní instituce a globální technologické společnosti. Firma také poskytuje konzultace a školení v oblasti Kafky jako preferovaný partner společnosti Confluent a v oblasti Spark a Scala v rámci partnerství se společnostmi Databricks a Lightbend. Lidem, kteří zvažují kariéru v datovém inženýrství, datové vědě nebo vývoji softwaru, nabízí Simple Machines specializované konzultační prostředí zaměřené na praktické využití dat v reálných systémech.
Hlavní datový inženýr (práce na dálku, Polsko)
Veďte architekturu a dodávku cloudových datových platforem, datových pipeline a datových produktů pro Simple Machines, globální technologickou poradenskou společnost. Určujte technické směřování a spolupracujte s klienty při práci na dálku z Polska.
Popis
- Odpovídejte za architekturu moderních cloudových datových platforem od návrhu po dodání.
- Vytvářejte škálovatelné datové ekosystémy s využitím data mesh, datových produktů a datových kontraktů.
- Určujte architekturu příjmu, ukládání a zpracování dat i přístupu k nim.
- Zajišťujte, aby platformy splňovaly bezpečnostní požadavky, předpisy a standardy připravenosti na produkční provoz.
- Dodávejte cloudové platformy s Databricks, Snowflake, AWS a GCP.
- Propojujte systémy klientů a zajišťujte škálovatelný přístup uživatelů k datům.
- Vytvářejte a optimalizujte dávkové datové pipeline i pipeline pro zpracování v reálném čase.
- Používejte Kafka, Flink, Kinesis a Pub/Sub pro streamování a zasílání zpráv.
- Koordinujte pracovní postupy pomocí Airflow, Dataflow a Glue.
- Zpracovávejte a transformujte rozsáhlé datové sady pomocí Spark a Flink.
- Pracujte s relačními, NoSQL a analytickými databázemi, včetně Postgres, BigQuery, Snowflake, Cassandra a MongoDB.
- Vylepšujte formáty ukládání a způsoby přístupu pomocí Parquet, Delta, ORC a Avro.
- Vytvářejte bezpečná řešení v souladu s předpisy a zohledňujte bezpečnost od samého začátku.
- Začleňujte správu dat, aniž byste zpomalovali práci vývojářů.
- Spolupracujte přímo s klienty, abyste porozuměli jejich výzvám a navrhovali řešení.
- Převádějte obchodní požadavky na praktická technická rozhodnutí.
- Buďte pro klienty důvěryhodným technickým partnerem a poradcem.
- Definujte inženýrské standardy, vzory a postupy.
- Posuzujte návrhy a kód, poskytujte technické vedení a mentoring.
- Zlepšujte kvalitu dat, testování, observabilitu a provozní postupy.
Požadavky
- Dobře ovládáte Python a SQL.
- Máte hluboké zkušenosti se Sparkem a moderními datovými platformami, jako jsou Databricks nebo Snowflake.
- Rozumíte cloudovým datovým službám AWS nebo GCP.
- Odpovídali jste za architekturu rozsáhlých datových platforem.
- Ovládáte datové modelování a umíte přijímat promyšlená architektonická rozhodnutí.
- Při výběru řešení zohledňujete výkon, náklady a složitost.
- Vytvářeli a provozovali jste rozsáhlé datové pipeline v produkčním prostředí.
- Máte zkušenosti s různými technologiemi ukládání a datovými formáty.
- Používáte nástroje pro správu infrastruktury jako kódu, například Terraform nebo Pulumi.
- Vytvářeli jste CI/CD pipeline pomocí nástrojů, jako jsou GitHub Actions nebo ArgoCD.
- Používali jste nástroje pro testování a zajištění kvality dat, například dbt, Great Expectations nebo Soda.
- Máte zkušenosti s konzultingem nebo profesionálními službami.
- Dokážete zpochybňovat předpoklady a vést klienty k lepším výsledkům.
- Jste připraveni mentorovat zkušené inženýry a formovat technickou kulturu.
Benefity
- Řešte náročné problémy s významným dopadem.
- Vytvářejte moderní platformy místo údržby zastaralých systémů.
- Spolupracujte se zkušenými inženýry.
- Mějte samostatnost a vliv na svou práci.
- Využívejte příležitosti k profesnímu rozvoji.