Walmart je globalno maloprodajno podjetje in podjetje za e-trgovino, ki potrošnikom ponuja storitve prek hipermarketov, diskontnih veleblagovnic, živilskih trgovin in spletne tržnice. Njegovo široko ponudbo izdelkov podpirajo velika mreža fizičnih trgovin, neposredno poslovanje s potrošniki ter logistični sistemi in sistemi dobavne verige, potrebni za pretok izdelkov v celotnem poslovanju.
Višji podatkovni inženir – Bangalore, Indija (delo na lokaciji)
Gradite razširljive paketne in pretočne cevovode ter podatkovne izdelke GenAI za Walmartove operacije revizije po plačilu. Izboljšujte natančnost plačil, usklajevanje, postopke izterjave in finančno analitiko.
Opis
- Gradite in vzdržujte razširljive paketne, pretočne in skoraj realnočasovne cevovode za revizijo po plačilu, celovitost plačil, usklajevanje dobaviteljev, operacije izterjave in finančno analitiko.
- Razvijajte pripravljene nabore podatkov, semantične modele, tabele, pripravljene za značilke, in ponovno uporabne podatkovne izdelke iz sistemov računov, naročilnic, prevzema blaga, dobaviteljev, zahtevkov, cen in plačil.
- Ustvarjajte ELT, ETL in pretočne delovne tokove s SQL, Pythonom, PySparkom, Apache Flinkom, dbt, orodji za orkestracijo, platformami za pretočno obdelavo dogodkov in oblačnimi podatkovnimi tehnologijami.
- Razvijajte pretočne cevovode in cevovode za zajem sprememb podatkov z obdelavo po času dogodka, obravnavo poznih podatkov, možnostjo ponovnega predvajanja, idempotentnostjo, dopolnilnim nalaganjem in obnovo po napakah.
- Načrtujte in upravljajte podatkovne izdelke lakehouse z uporabo Apache Hudi, Apache Iceberg ali Delta Lake.
- Vzpostavljajte preverjanja kakovosti podatkov, kontrole usklajevanja, validacijo shem, sledenje izvoru podatkov, spremljanje, opozarjanje in prakse opazljivosti.
- Sodelujte z ekipami za finance, revizijo, operacije, izdelke, podatkovno znanost in inženiring pri zagotavljanju podatkovnih rešitev, pripravljenih za produkcijo.
- Omogočajte zaznavanje anomalij, določanje prednosti izjem, revizijska pravila, strojno učenje za točkovanje in delovne tokove GenAI.
- Ustvarjajte avtomatizacijo in podatkovne storitve, ki revizijskim ekipam pomagajo povzemati dokaze, razvrščati izjeme, zagotavljati kontekst preiskav in zmanjševati ročni pregled.
- Izvajajte vzorce podatkovnega inženiringa GenAI, kot so shrambe dokumentov, pripravljene za iskanje, cevovodi za embeddinge, integracije z vektorskimi bazami podatkov, obogatitev metapodatkov in upravljano pridobivanje znanja.
- Izboljšujte paketne in pretočne delovne obremenitve glede zanesljivosti, svežine, zakasnitve, upravljanja stanja, računske učinkovitosti in uporabnosti za nadaljnje sisteme.
- Preiskujte neskladja podatkov, napake cevovodov, neusklajenosti pri usklajevanju in težave izvornih sistemov z analizo temeljnega vzroka.
Zahteve
- Diploma iz računalništva, inženirstva, informacijske tehnologije, podatkovnega inženirstva, analitike, matematike, statistike ali sorodnega področja ter več kot 6 let ustreznih izkušenj; alternativno magisterij z več kot 4 leti ali doktorat z več kot 3 leti ustreznih izkušenj.
- Dokazane praktične izkušnje s SQL, Pythonom, PySparkom, Apache Flinkom ali primerljivim ogrodjem za pretočno obdelavo ter porazdeljeno obdelavo podatkov velikega obsega.
- Izkušnje z dbt ali primerljivim ogrodjem za transformacije, Airflow ali podobnimi orodji za orkestracijo, Kafko ali enakovredno platformo za pretočno obdelavo dogodkov ter oblačnimi ali poslovnimi podatkovnimi tehnologijami, kot so BigQuery, Hive ali Spark.
- Dokazane izkušnje z načrtovanjem, uvajanjem in podporo produkcijskih paketnih in pretočnih cevovodov, ELT/ETL delovnih tokov, podatkovnih modelov in ponovno uporabnih podatkovnih izdelkov.
- Dobro poznavanje podatkovnega modeliranja, particioniranja, optimizacije zmogljivosti, inkrementalne obdelave, CDC, razvoja shem, podatkovnih pogodb, upravljanja metapodatkov, sledenja izvoru in formatov lakehouse, vključno z Apache Hudi, Apache Iceberg ali Delta Lake.
- Izkušnje z zagotavljanjem preverjanj kakovosti podatkov, logike usklajevanja, validacijskih ogrodij, opazljivosti, spremljanja, opozarjanja in reševanja incidentov za produkcijske cevovode.
- Izkušnje z razvojem pretočnih rešitev z obdelavo po času dogodka, transformacijami s stanjem, checkpointingom, watermarkingom, obdelavo exactly-once ali effectively-once ter strategijami ponovnega predvajanja ali dopolnilnega nalaganja.
- Izkušnje z velikimi strukturiranimi in polstrukturiranimi nabori podatkov iz več izvornih sistemov, vključno z operativnimi podatki z nedoslednimi poslovnimi opredelitvami.
- Odlične sposobnosti sodelovanja in zmožnost dela z ekipami za finance, revizijo, operacije, izdelke, podatkovno znanost in inženiring.
- Minimalne alternativne kvalifikacije vključujejo diplomo iz računalništva s 3 leti izkušenj na področju programskega inženirstva ali sorodnem področju; 5 let izkušenj na področju programskega inženirstva ali sorodnem področju; ali magisterij iz računalništva z 1 letom izkušenj na področju programskega inženirstva ali sorodnem področju.
- Najmanj 2 leti izkušenj s podatkovnim inženirstvom, inženirstvom baz podatkov, poslovno inteligenco ali poslovno analitiko.
Ugodnosti
- Spodbude na podlagi uspešnosti.
- Materinski in starševski dopust.
- Plačan dopust.
- Zdravstvene ugodnosti.