LogoFresh Jobs Ahead
Sigma Software Group
Sigma Software Group
1001 – 5000 Töötajad
AutotööstusNõustamineTervishoid
Sigma Software Group on 2002. aastal asutatud rahvusvaheline tehnoloogiaalase nõustamise ettevõte. Selle meeskonnad pakuvad tarkvaraarendust, graafilist disaini, testimist ja tehnilist tuge klientidele muu hulgas autotööstuse, tervishoiu, telekommunikatsiooni, lennunduse, panganduse, mängutööstuse, kinnisvara ja reklaami valdkonnas. Ettevõte värbab IT-spetsialiste töötama keerukate inseneriprojektidega ning toetab professionaalset arengut mentorluse ja pideva õppimise kaudu. Kaugtöövõimalused on osa ettevõtte töökorraldusest ning projektid teenindavad selliseid organisatsioone nagu AstraZeneca, Scania ja SAS.
LinkedIn
Töökohad ettevõttes

Vanemandmeinsener, Databricksi üleviimine

Vii suuremahuline jaekaubanduse analüütikaplatvorm BigQueryst Databricksi üle. Loo Sigma Software Groupis Lakehouse’i arhitektuure, Sparki andmetöötlusvooge ja hallatud andmelahendusi.

UAUkrainaKaugtööTäistööaegSeeniorNõutav Keel: ingliseAndmeinsener
AirflowApacheBigQueryETLPilvPySparkPythonSparkSQLUnity

Kirjeldus

  • Aita viia suuremahuline analüütikaplatvorm BigQueryst Databricksi üle.
  • Kavanda ja loo Databricksi ja Delta Lake’i abil skaleeritavaid Lakehouse’i arhitektuure.
  • Hinda olemasolevaid ETL- ja ELT-töökoormusi ning määra üleviimise plaanid.
  • Arenda ja häälesta andmetöötlusvooge suurte jaekaubanduse ja analüütiliste andmemahtude jaoks.
  • Loo inkrementaalse töötluse strateegiaid ja skaleeritavaid teisendusraamistikke.
  • Loo ja hoolda PySparki kasutavaid Sparki andmetöötluslahendusi.
  • Kavanda ja hoolda medallion-arhitektuuri Bronze’i, Silveri ja Goldi kihte.
  • Rakenda Unity Catalogi abil andmehalduse ja turbe tavasid.
  • Tee koostööd andmeteaduse, analüütika, toote- ja klienditehnika meeskondadega.
  • Panusta arhitektuurialastesse aruteludesse ja tehniliste lahenduste kavandamisse.
  • Loo taaskasutatavaid andmeplatvormi komponente ja inseneritöö standardeid.
  • Vaata koodi üle ning paranda platvormi töökindlust ja hooldatavust.
  • Diagnoosi ja optimeeri keerukaid SQL-i ja Sparki töökoormusi.
  • Toeta tootmiskeskkonda väljalaskeid ja platvormi moderniseerimist.

Nõuded

  • Vähemalt viis aastat töökogemust andmetehnika valdkonnas.
  • Tugev Pythoni oskus ja edasijõudnud SQL-i valdamine.
  • Praktiline töökogemus Databricksiga.
  • Head Apache Sparki teadmised, eriti PySparki vallas.
  • Kogemus tänapäevaste pilvepõhiste andmeplatvormide kavandamise ja loomisega.
  • Kogemus ETL- või ELT-andmetöötlusvoogude ning suuremahuliste andmetöötluslahenduste arendamisega.
  • Praktiline kogemus Delta Lake’iga.
  • Kogemus Spark Declarative Pipelinesiga.
  • Kogemus klastrite jälgimise, mõõdikute analüüsimise ja jõudluse optimeerimisega.
  • Tugev arusaam hajutatud andmetöötluse arhitektuuridest.
  • Head teadmised andmeladudest ja dimensioonmodelleerimisest.
  • Kogemus Airflow’ või sarnase orkestreerimistööriistaga.
  • Kogemus keerukate analüütiliste SQL-töökoormuste häälestamisega.
  • Kogemus andmetehnika platvormide CI/CD-tavade rakendamisega.
  • Tugevad tõrkeotsingu ja jõudluse optimeerimise oskused.
  • Oskus teha rahvusvahelises keskkonnas koostööd eri valdkondade meeskondadega.
  • Inglise keele oskus vähemalt kesk-kõrgemal tasemel.

Hüved

  • Pidevad õppimisvõimalused.
  • Võimalused oma tehnoloogiaalaseid teadmisi täiendada.
  • Tähendusrikas mõju inseneritöö kaudu.
  • Töö keerukate rahvusvaheliste projektidega.

Seotud töökohad