Seneca Holdings
Seneca Holdings
Seneca Holdings je naložbeni oddelek naroda Seneca, ki razvija in upravlja donosna podjetja ter tako krepi dolgoročno gospodarsko samozadostnost naroda. Njegov raznolik portfelj vključuje pogodbe z zvezno vlado, okoljske rešitve in zdravstvene storitve, pri čemer se osredotoča na trajnostne priložnosti, ki podpirajo skupnost Seneca in prihodnje generacije.

Višji podatkovni inženir – Databricks in AWS (delo na daljavo)

Gradite razširljive podatkovne cevovode v okoljih Databricks in AWS za pogodbe z zvezno vlado. Zagotavljajte podatke, pripravljene za analitiko, ob izpolnjevanju standardov FISMA High in zahtev za večnajemniška okolja.

Opis

  • Gradite in vzdržujte razširljive podatkovne cevovode v okolju Databricks E2, gostovanem v AWS
  • Pridobivajte podatke iz relacijskih podatkovnih baz, API-jev, zunanjih ponudnikov in tokov v realnem času
  • Ustvarjajte cevovode za čiščenje, pretvarjanje in združevanje podatkov za analitiko in poročanje
  • Razvijajte in upravljajte plasti Bronze, Silver in Gold v medallion arhitekturi Databricks
  • Pripravljajte preslikave od vira do cilja in izvajajte enotno testiranje
  • Pišite napredne agregacije SQL ter raziskujte anomalije podatkov, težave s kakovostjo in nedoslednosti
  • Izvajajte zajemanje podatkov v realnem in skoraj realnem času z AWS DMS in drugimi izvornimi storitvami AWS
  • Razvijajte rešitve za obdelavo s Pythonom ali R ter Sparkom, PySparkom in Pandasom
  • Upravljajte kodo, nadzor različic in uvedbe prek GitLaba in cevovodov CI/CD
  • Sodelujte z večfunkcionalnimi ekipami v agilnem okolju izvajanja
  • Vzdržujte skladnost s FISMA High ter z varnostnimi, upravljavskimi in regulativnimi zahtevami za večnajemniška okolja
  • Uporabljajte orodja za avtomatizacijo z umetno inteligenco kot podporo razvoju, testiranju, preverjanju in dostavi cevovodov

Zahteve

  • Dokazane praktične izkušnje kot podatkovni inženir ali razvijalec Databricks pri izdelavi produkcijskih podatkovnih cevovodov
  • Dobro poznavanje Databricksa v AWS, vključno z arhitekturo E2, konfiguracijo gruč, orkestracijo opravil in skrbništvom delovnega prostora
  • Praktične izkušnje z Apache Sparkom, PySparkom in Pandasom za porazdeljeno obdelavo podatkov v velikem obsegu
  • Dobro znanje programiranja v Pythonu; izkušnje z R so prednost
  • Izkušnje z uporabo Databricks Auto Loader za razširljiv inkrementalni vnos datotek
  • Praktične izkušnje s storitvijo AWS Database Migration Service za zajemanje sprememb in replikacijo v realnem času
  • Odlično poznavanje Delta Laka in tabel Delta, vključno z razvojem sheme, potovanjem skozi čas, OPTIMIZE, Z-ORDER in VACUUM
  • Izkušnje z Amazon RDS in drugimi relacijskimi viri v delovnih tokovih pridobivanja in integracije
  • Napredno znanje SQL, ki zajema kompleksne združitve, okenske funkcije, agregacije in uglaševanje zmogljivosti poizvedb
  • Razumevanje medallion arhitekture in sodobnih načel podatkovnega lakehousea
  • Izkušnje z GitLabom in cevovodi CI/CD za avtomatizirano testiranje, gradnjo in uvajanje kode za podatkovno inženirstvo
  • Izkušnje s sodelovanjem pri agilnih ali Scrum projektih

Ugodnosti

  • Konkurenčno plačilo
  • Zdravstveno, zobozdravstveno, okulistično, življenjsko zavarovanje in kritje za invalidnost
  • Neobvezno kritje za kritične bolezni, hospitalizacijo in nezgode
  • Zdravstveni varčevalni računi in računi za prilagodljivo porabo
  • Pokojninski načrt 401(k)
  • Programi plačanega dopusta
  • Prilagodljivo ravnovesje med poklicnim in zasebnim življenjem
  • Priložnosti za strokovni razvoj
  • Programi uspešnosti in priznanj
  • Sodelovalno delovno okolje
  • Finančne in nefinančne ugodnosti za člane naroda Seneca

Sorodna delovna mesta