Sigma Software Group
Sigma Software Group
1001 – 5000 Pracownicy
DoradztwoMotoryzacjaOpieka zdrowotna
Sigma Software Group to międzynarodowa firma konsultingowa z branży technologicznej, założona w 2002 roku. Jej zespoły zajmują się tworzeniem oprogramowania, projektowaniem graficznym, testowaniem i wsparciem technicznym dla klientów z takich sektorów jak motoryzacja, opieka zdrowotna, telekomunikacja, lotnictwo, bankowość, gry, nieruchomości i reklama. Firma zatrudnia specjalistów IT do pracy nad złożonymi projektami inżynieryjnymi oraz wspiera rozwój zawodowy poprzez mentoring i ciągłe doskonalenie. Możliwość pracy zdalnej jest częścią modelu pracy firmy, a jej projekty są realizowane dla organizacji takich jak AstraZeneca, Scania i SAS.

Starszy inżynier danych — migracja do Databricks

Migracja korporacyjnej analityki handlu detalicznego z BigQuery do Databricks Lakehouse. Tworzenie skalowalnych potoków PySpark, architektury medalionowej i zarządzanych chmurowych platform danych.

Opis

  • Pomagaj w migracji wielkoskalowej platformy analitycznej z BigQuery do Databricks.
  • Projektuj i buduj skalowalne architektury Lakehouse z Databricks i Delta Lake.
  • Oceniaj istniejące obciążenia ETL i ELT oraz określaj podejścia do migracji.
  • Twórz i optymalizuj potoki przetwarzające duże ilości danych handlowych i analitycznych.
  • Wdrażaj strategie przetwarzania przyrostowego oraz skalowalne rozwiązania do transformacji danych.
  • Opracowuj i utrzymuj rozwiązania do przetwarzania danych w Spark z użyciem PySpark.
  • Projektuj i utrzymuj medalionowe warstwy Bronze, Silver i Gold.
  • Stosuj praktyki zarządzania danymi i bezpieczeństwa z użyciem Unity Catalog.
  • Współpracuj z zespołami Data Science, analityki, produktu i inżynierii klienta.
  • Bierz udział w dyskusjach o architekturze i projektowaniu rozwiązań technicznych.
  • Twórz wielokrotnego użytku komponenty platformy danych i standardy inżynieryjne.
  • Przeglądaj kod i zwiększaj niezawodność oraz łatwość utrzymania platformy.
  • Diagnozuj problemy i optymalizuj złożone obciążenia SQL i Spark.
  • Wspieraj wdrożenia produkcyjne i modernizację platformy.

Wymagania

  • Mieć co najmniej pięć lat doświadczenia zawodowego na stanowisku inżyniera danych.
  • Biegle programować w Pythonie i znać SQL na zaawansowanym poziomie.
  • Mieć praktyczne doświadczenie komercyjne z Databricks.
  • Dobrze znać Apache Spark, w szczególności PySpark.
  • Mieć doświadczenie w projektowaniu i budowie nowoczesnych chmurowych platform danych.
  • Mieć doświadczenie w tworzeniu potoków ETL i ELT oraz rozwiązań do przetwarzania danych na dużą skalę.
  • Mieć praktyczne doświadczenie z Delta Lake.
  • Mieć doświadczenie ze Spark Declarative Pipelines.
  • Mieć doświadczenie w monitorowaniu klastrów, analizie metryk i optymalizacji wydajności.
  • Rozumieć architektury rozproszonego przetwarzania danych.
  • Rozumieć zagadnienia związane z hurtowniami danych i modelowaniem wymiarowym.
  • Mieć doświadczenie z Airflow lub porównywalnym narzędziem do orkiestracji.
  • Mieć doświadczenie w optymalizacji złożonych analitycznych obciążeń SQL.
  • Mieć doświadczenie w stosowaniu praktyk CI/CD na platformach inżynierii danych.
  • Umieć diagnozować problemy i optymalizować wydajność.
  • Umieć skutecznie współpracować w międzynarodowych zespołach interdyscyplinarnych.
  • Znać angielski na poziomie wyższym średnio zaawansowanym (Upper-Intermediate) lub wyższym.

Benefity

  • Pracownicy mogą pracować zdalnie.
  • Możliwości ciągłego rozwoju i nauki.
  • Możliwości rozwoju zawodowego wraz z rozwojem technologii.
  • Możliwość wywierania znaczącego wpływu poprzez pracę inżynieryjną.
  • Praca nad złożonymi międzynarodowymi projektami.

Powiązane oferty pracy

Intetics

Inżynier danych dla uczenia maszynowego — praca zdalna z Rumunii

Intetics
501 – 1000 Pracownicy
DoradztwoLogistykaOpieka zdrowotna

Twórz infrastrukturę danych czasu rzeczywistego, modele grafowe i systemy szeregów czasowych do analizy wyników sportowców. Wspieraj ocenę uczenia maszynowego i systemy AI dla klienta Intetics ze Stanów Zjednoczonych.

Otwórz
AllCloud

Inżynier danych ze znajomością hebrajskiego

AllCloud

Twórz platformy lakehouse, potoki danych i rozwiązania AI dla klientów AllCloud korzystających z doradztwa chmurowego. Projektuj skalowalne architektury i pomagaj klientom modernizować systemy danych.

Otwórz