A Simple Machines ausztrál tanácsadó cég, amely az adatarchitektúra, az adatmérnökség, az adattudomány és a szoftverfejlesztés területén tevékenykedik. Tanácsadói elosztott adatplatformokat és gépi tanulási alkalmazásokat terveznek és építenek vállalatok, kormányzati szervek és globális technológiai cégek számára. A csapat Preferred Confluent partnerként Kafka-tanácsadást és képzést is nyújt, emellett a Databricks és a Lightbend partnereként Spark- és Scala-tanácsadással, valamint képzéssel foglalkozik. Az adatfejlesztés, az adattudomány vagy a szoftverfejlesztés területén lehetőségeket keresők számára a Simple Machines olyan specializált tanácsadói környezetet kínál, amely a valós rendszerekben hasznosítható adatok előállítására összpontosít.
Vezető adatmérnök (távmunka, Lengyelország)
Vezesse a felhőnatív adatplatformok, adatfolyamatok és adattermékek architektúrájának kialakítását és megvalósítását a Simple Machines globális technológiai tanácsadó cégnél. Dolgozzon távmunkában Lengyelországból, alakítsa a műszaki irányt, és működjön együtt az ügyfelekkel.
Leírás
- Vállaljon felelősséget a modern, felhőnatív adatplatformok architektúrájáért a tervezéstől a megvalósításig.
- Hozzon létre skálázható adatkörnyezeteket data mesh megközelítéssel, adattermékekkel és adatszerződésekkel.
- Határozza meg az adatbetöltés, tárolás, feldolgozás és hozzáférés architektúráját.
- Gondoskodjon róla, hogy a platformok megfeleljenek a biztonsági, megfelelőségi és éles üzemre készültségi követelményeknek.
- Valósítson meg felhőnatív platformokat Databricks, Snowflake, AWS és GCP használatával.
- Kapcsolja össze az ügyfelek rendszereit, hogy a felhasználók skálázható adathozzáférést kapjanak.
- Építsen és hangoljon kötegelt és valós idejű adatfolyamatokat.
- Használja a Kafka, Flink, Kinesis és Pub/Sub eszközöket adatfolyamokhoz és üzenetküldéshez.
- Hangolja össze a munkafolyamatokat Airflow, Dataflow és Glue segítségével.
- Dolgozzon fel és alakítson át nagy adathalmazokat Spark és Flink használatával.
- Dolgozzon relációs, NoSQL- és elemzési adatbázisokkal, többek között Postgres, BigQuery, Snowflake, Cassandra és MongoDB rendszerekkel.
- Javítsa a tárolási formátumokat és a hozzáférési mintákat Parquet, Delta, ORC és Avro használatával.
- Készítsen biztonságos és szabályoknak megfelelő megoldásokat úgy, hogy a biztonság már a kezdetektől szempont legyen.
- Integrálja az adatirányítást úgy, hogy az ne lassítsa a fejlesztők munkafolyamatait.
- Dolgozzon közvetlenül az ügyfelekkel a kihívások megértésén és a megoldások kialakításán.
- Alakítsa az üzleti igényeket gyakorlatias mérnöki döntésekké.
- Adjon tanácsot az ügyfeleknek megbízható műszaki partnerként.
- Határozza meg a mérnöki szabványokat, mintákat és gyakorlatokat.
- Vizsgálja felül a terveket és a kódot, nyújtson műszaki útmutatást és mentorálást.
- Erősítse az adatminőséget, a tesztelést, a megfigyelhetőséget és az üzemeltetési gyakorlatokat.
Követelmények
- Rendelkezzen erős Python- és SQL-ismeretekkel.
- Legyen alapos tapasztalata a Spark és az olyan modern adatplatformok terén, mint a Databricks vagy a Snowflake.
- Ismerje az AWS vagy GCP felhőalapú adatszolgáltatásait.
- Vállalt már felelősséget nagyléptékű adatplatformok architektúrájáért.
- Alkalmazzon erős adatmodellezési készségeket, és hozzon megalapozott architekturális döntéseket.
- A megoldások kiválasztásakor egyensúlyozzon a teljesítmény, a költség és az összetettség között.
- Épített és üzemeltetett már nagyléptékű, éles adatfolyamatokat.
- Rendelkezzen tapasztalattal többféle tárolási technológiával és adatformátummal.
- Használjon olyan infrastruktúra-kódként eszközöket, mint a Terraform vagy a Pulumi.
- Épített már CI/CD-folyamatokat olyan eszközökkel, mint a GitHub Actions vagy az ArgoCD.
- Használt már adatellenőrzési és -minőségi keretrendszereket, például dbt-t, Great Expectations-t vagy Sodát.
- Legyen tapasztalata tanácsadásban vagy professzionális szolgáltatások területén.
- Tudja megkérdőjelezni a feltételezéseket, és jobb eredmények felé terelni az ügyfeleket.
- Legyen magabiztos a tapasztalt mérnökök mentorálásában és a műszaki kultúra alakításában.
Juttatások
- Dolgozzon jelentős hatással járó, összetett problémákon.
- Hozzon létre modern platformokat örökölt rendszerek karbantartása helyett.
- Működjön együtt tapasztalt mérnökökkel.
- Rendelkezzen önállósággal és befolyással a munkájában.
- Kapjon lehetőséget a szakmai fejlődésre.