„Walmart“ yra pasaulinė mažmeninės prekybos ir elektroninės komercijos įmonė, aptarnaujanti vartotojus per hipermarketus, mažų kainų universalines parduotuves, maisto prekių parduotuves ir internetinę prekyvietę. Platų jos prekių asortimentą palaiko didelis fizinių parduotuvių tinklas, tiesioginio pardavimo vartotojams veikla bei logistikos ir tiekimo grandinės sistemos, užtikrinančios produktų judėjimą visoje įmonėje.
Vyresnysis duomenų inžinierius – Bengalūras, Indija (darbas vietoje)
Kurkite mastelio didinimui pritaikytus paketinio ir srautinio apdorojimo duomenų srautus bei GenAI duomenų produktus Walmart mokėjimų po atlikimo audito veiklai. Gerinkite mokėjimų tikslumą, sutikrinimą, lėšų susigrąžinimo procesus ir finansų analitiką.
Aprašymas
- Kurkite ir prižiūrėkite mastelio didinimui pritaikytus paketinio, srautinio ir beveik realiojo laiko apdorojimo srautus mokėjimų po atlikimo auditui, mokėjimų vientisumui, tiekėjų sutikrinimui, susigrąžinimo veiklai ir finansų analitikai.
- Kurkite kuruojamus duomenų rinkinius, semantinius modelius, paruoštas požymių lenteles ir pakartotinai naudojamus duomenų produktus iš sąskaitų faktūrų, pirkimo užsakymų, prekių priėmimo, tiekėjų, pretenzijų, kainodaros ir mokėjimų sistemų.
- Kurkite ELT, ETL ir srautinio apdorojimo darbo srautus naudodami SQL, Python, PySpark, Apache Flink, dbt, orkestravimo įrankius, įvykių srautų platformas ir debesijos duomenų technologijas.
- Kurkite srautinio apdorojimo ir pokyčių duomenų fiksavimo srautus, taikydami įvykio laiko apdorojimą, vėluojančių duomenų tvarkymą, pakartotinį paleidimą, idempotentiškumą, retrospektyvų užpildymą ir atkūrimą po gedimų.
- Projektuokite ir eksploatuokite lakehouse duomenų produktus naudodami Apache Hudi, Apache Iceberg arba Delta Lake.
- Įdiekite duomenų kokybės patikras, sutikrinimo kontrolę, schemos validavimą, kilmės sekimą, stebėsenos, įspėjimų ir stebimumo praktikas.
- Bendradarbiaukite su finansų, audito, operacijų, produktų, duomenų mokslo ir inžinerijos komandomis, kad pristatytumėte gamybai paruoštus duomenų sprendimus.
- Įgalinkite anomalijų aptikimą, išimčių prioritetų nustatymą, audito taisykles, mašininio mokymosi vertinimą ir GenAI darbo srautus.
- Kurkite automatizavimo ir duomenų paslaugas, kurios padeda audito komandoms apibendrinti įrodymus, rūšiuoti išimtis, pateikti tyrimui reikalingą kontekstą ir sumažinti rankinę peržiūrą.
- Įgyvendinkite GenAI duomenų inžinerijos modelius, tokius kaip paieškai paruoštos dokumentų saugyklos, įterpinių srautai, vektorinių duomenų bazių integracijos, metaduomenų papildymas ir valdoma žinių paieška.
- Gerinkite paketinio ir srautinio apdorojimo darbo krūvių patikimumą, šviežumą, delsą, būsenos valdymą, skaičiavimo efektyvumą ir panaudojamumą tolesnėse sistemose.
- Tirkite duomenų neatitikimus, srautų gedimus, sutikrinimo neatitikimus ir šaltinių sistemų problemas atlikdami pagrindinės priežasties analizę.
Reikalavimai
- Kompiuterių mokslo, inžinerijos, informacinių technologijų, duomenų inžinerijos, analitikos, matematikos, statistikos ar susijusios krypties bakalauro laipsnis ir daugiau kaip 6 metų atitinkama patirtis; alternatyviai – magistro laipsnis ir daugiau kaip 4 metų arba daktaro laipsnis ir daugiau kaip 3 metų atitinkama patirtis.
- Praktiniai įrodyti SQL, Python, PySpark, Apache Flink ar panašios srautinio apdorojimo sistemos bei didelio masto paskirstyto duomenų apdorojimo įgūdžiai.
- Patirtis naudojant dbt ar panašią transformavimo sistemą, Airflow ar panašius orkestravimo įrankius, Kafka ar lygiavertę įvykių srautų platformą ir debesijos ar įmonių duomenų technologijas, tokias kaip BigQuery, Hive ar Spark.
- Sėkminga gamybinių paketinio ir srautinio apdorojimo srautų, ELT/ETL darbo srautų, duomenų modelių ir pakartotinai naudojamų duomenų produktų projektavimo, diegimo ir palaikymo patirtis.
- Tvirtos duomenų modeliavimo, skaidymo, našumo derinimo, inkrementinio apdorojimo, CDC, schemos evoliucijos, duomenų sutarčių, metaduomenų valdymo, kilmės sekimo ir lakehouse formatų, įskaitant Apache Hudi, Apache Iceberg ar Delta Lake, žinios.
- Patirtis diegiant duomenų kokybės patikras, sutikrinimo logiką, validavimo sistemas, stebimumą, stebėseną, įspėjimus ir sprendžiant gamybinių srautų incidentus.
- Patirtis kuriant srautinio apdorojimo sprendimus su įvykio laiko apdorojimu, būseną išlaikančiomis transformacijomis, kontroliniais taškais, vandens ženklais, tiksliai vienkartiniu ar praktiškai vienkartiniu apdorojimu ir pakartotinio paleidimo ar retrospektyvaus užpildymo strategijomis.
- Patirtis tvarkant didelius struktūrizuotus ir pusiau struktūrizuotus duomenų rinkinius iš kelių šaltinių sistemų, įskaitant operacinius duomenis su nenuosekliais verslo apibrėžimais.
- Puikūs bendradarbiavimo įgūdžiai ir gebėjimas dirbti finansų, audito, operacijų, produktų, duomenų mokslo ir inžinerijos srityse.
- Minimalios kvalifikacijos alternatyvos apima kompiuterių mokslo bakalauro laipsnį ir 3 metų programinės įrangos inžinerijos ar susijusią patirtį; 5 metų programinės įrangos inžinerijos ar susijusią patirtį; arba kompiuterių mokslo magistro laipsnį ir 1 metų programinės įrangos inžinerijos ar susijusią patirtį.
- Ne mažesnė kaip 2 metų patirtis duomenų inžinerijos, duomenų bazių inžinerijos, verslo intelekto ar verslo analitikos srityse.
Privalumai
- Veiklos rezultatais grindžiami skatinamieji apdovanojimai.
- Motinystės ir vaiko priežiūros atostogos.
- Mokamas laisvas laikas.
- Sveikatos išmokos.