Simple Machines to australijska firma konsultingowa działająca w obszarach architektury danych, inżynierii danych, data science i tworzenia oprogramowania. Jej konsultanci projektują i budują rozproszone platformy danych oraz aplikacje uczenia maszynowego dla przedsiębiorstw, instytucji publicznych i globalnych firm technologicznych. Firma oferuje również doradztwo i szkolenia z zakresu Kafka jako preferowany partner Confluent, a także konsulting i szkolenia dotyczące Spark i Scala w ramach partnerstw z Databricks i Lightbend. Osobom rozważającym pracę w inżynierii danych, data science lub tworzeniu oprogramowania Simple Machines zapewnia specjalistyczne środowisko konsultingowe skupione na praktycznym wykorzystaniu danych w rzeczywistych systemach.
Główny inżynier danych (praca zdalna, Polska)
Kieruj architekturą i dostarczaniem chmurowych platform danych, potoków oraz produktów danych dla Simple Machines, globalnej firmy doradczej z branży technologicznej. Wyznaczaj kierunek techniczny i współpracuj z klientami, pracując zdalnie z Polski.
Opis
- Odpowiadaj za architekturę nowoczesnych chmurowych platform danych od projektu po wdrożenie.
- Twórz skalowalne ekosystemy danych z wykorzystaniem data mesh, produktów danych i kontraktów danych.
- Projektuj architekturę pozyskiwania, przechowywania i przetwarzania danych oraz dostępu do nich.
- Zapewniaj zgodność platform z wymogami bezpieczeństwa, regulacjami i standardami gotowości do produkcji.
- Dostarczaj chmurowe platformy z Databricks, Snowflake, AWS i GCP.
- Łącz systemy klientów, zapewniając odbiorcom skalowalny dostęp do danych.
- Twórz i optymalizuj wsadowe potoki danych oraz potoki przetwarzające dane w czasie rzeczywistym.
- Wykorzystuj Kafka, Flink, Kinesis i Pub/Sub do przetwarzania strumieniowego i przesyłania komunikatów.
- Koordynuj przepływy pracy za pomocą Airflow, Dataflow i Glue.
- Przetwarzaj i transformuj duże zbiory danych za pomocą Spark i Flink.
- Pracuj z relacyjnymi, NoSQL-owymi i analitycznymi bazami danych, w tym Postgres, BigQuery, Snowflake, Cassandra i MongoDB.
- Ulepszaj formaty przechowywania i wzorce dostępu za pomocą Parquet, Delta, ORC i Avro.
- Twórz bezpieczne, zgodne z regulacjami rozwiązania, uwzględniając bezpieczeństwo od samego początku.
- Integruj zarządzanie danymi bez spowalniania pracy programistów.
- Współpracuj bezpośrednio z klientami, aby poznać ich wyzwania i kształtować rozwiązania.
- Przekładaj wymagania biznesowe na praktyczne decyzje inżynieryjne.
- Doradzaj klientom jako zaufany partner techniczny.
- Określaj standardy, wzorce i praktyki inżynieryjne.
- Weryfikuj projekty i kod, zapewniając wskazówki techniczne oraz mentoring.
- Podnoś jakość danych, poziom testowania, obserwowalność i skuteczność działań operacyjnych.
Wymagania
- Dobrze znasz Python i SQL.
- Masz rozległe doświadczenie ze Spark oraz nowoczesnymi platformami danych, takimi jak Databricks lub Snowflake.
- Znasz usługi danych w chmurze AWS lub GCP.
- Odpowiadałeś za architekturę platform danych działających na dużą skalę.
- Znasz modelowanie danych i podejmujesz trafne decyzje architektoniczne.
- Przy wyborze rozwiązań uwzględniasz wydajność, koszty i złożoność.
- Tworzyłeś i utrzymywałeś wielkoskalowe potoki danych działające na produkcji.
- Masz doświadczenie z różnymi technologiami przechowywania i formatami danych.
- Korzystasz z narzędzi do zarządzania infrastrukturą jako kodem, takich jak Terraform lub Pulumi.
- Tworzyłeś potoki CI/CD z użyciem narzędzi takich jak GitHub Actions lub ArgoCD.
- Korzystałeś z narzędzi do testowania i kontroli jakości danych, takich jak dbt, Great Expectations lub Soda.
- Masz doświadczenie w doradztwie lub usługach profesjonalnych.
- Potrafisz kwestionować założenia i kierować klientów ku lepszym rozwiązaniom.
- Chętnie wspierasz mentoringiem starszych inżynierów i kształtujesz kulturę techniczną.
Benefity
- Pracuj nad ambitnymi problemami, które mają znaczenie.
- Twórz nowoczesne platformy zamiast utrzymywać starsze systemy.
- Współpracuj z doświadczonymi inżynierami.
- Ciesz się samodzielnością i wpływem na swoją pracę.
- Rozwijaj się zawodowo.