Walmart ir pasaules mazumtirdzniecības un e-komercijas uzņēmums, kas apkalpo patērētājus, izmantojot hipermārketus, zemo cenu universālveikalus, pārtikas veikalus un tiešsaistes tirdzniecības platformu. Tā plašo preču klāstu nodrošina plašs fizisko veikalu tīkls, tiešās pārdošanas patērētājiem darbība, kā arī loģistikas un piegādes ķēdes sistēmas, kas nodrošina produktu apriti visā uzņēmumā.
Vecākais datu inženieris – Bengalūra, Indija (darbs klātienē)
Veido mērogojamus pakešu un straumēšanas datu kanālus un GenAI datu produktus Walmart pēcapmaksas audita darbībām. Uzlabo maksājumu precizitāti, saskaņošanu, atgūšanas procesus un finanšu analītiku.
Apraksts
- Veido un uzturi mērogojamus pakešu, straumēšanas un gandrīz reāllaika datu kanālus pēcapmaksas auditam, maksājumu integritātei, piegādātāju saskaņošanai, atgūšanas darbībām un finanšu analītikai.
- Izstrādā kurētus datu kopumus, semantiskos modeļus, iezīmēm gatavas tabulas un atkārtoti izmantojamus datu produktus no rēķinu, pirkuma pasūtījumu, saņemšanas, piegādātāju, prasību, cenu noteikšanas un maksājumu sistēmām.
- Veido ELT, ETL un straumēšanas darba plūsmas, izmantojot SQL, Python, PySpark, Apache Flink, dbt, orkestrēšanas rīkus, notikumu straumēšanas platformas un mākoņa datu tehnoloģijas.
- Izstrādā straumēšanas un izmaiņu datu uztveršanas kanālus ar notikuma laika apstrādi, novēlotu datu apstrādi, atkārtotas atskaņošanas iespējām, idempotenci, atkārtotu aizpildīšanu un atkopšanos pēc kļūmēm.
- Projektē un ekspluatē lakehouse datu produktus, izmantojot Apache Hudi, Apache Iceberg vai Delta Lake.
- Ievies datu kvalitātes pārbaudes, saskaņošanas kontroles, shēmas validāciju, izcelsmes izsekošanu, uzraudzības, brīdinājumu un novērojamības praksi.
- Sadarbojies ar finanšu, audita, operāciju, produktu, datu zinātnes un inženierijas komandām, lai piegādātu ražošanai gatavus datu risinājumus.
- Nodrošini anomāliju noteikšanu, izņēmumu prioritizēšanu, audita noteikumus, mašīnmācīšanās vērtēšanu un GenAI darba plūsmas.
- Veido automatizācijas un datu pakalpojumus, kas palīdz audita komandām apkopot pierādījumus, šķirot izņēmumus, sniegt izmeklēšanas kontekstu un samazināt manuālo pārbaudi.
- Ievies GenAI datu inženierijas modeļus, piemēram, izgūšanai gatavas dokumentu krātuves, iegulšanas kanālus, vektoru datubāzu integrācijas, metadatu bagātināšanu un pārvaldītu zināšanu izgūšanu.
- Uzlabojiet pakešu un straumēšanas darba slodžu uzticamību, aktualitāti, latentumu, stāvokļa pārvaldību, skaitļošanas efektivitāti un izmantojamību pakārtotajās sistēmās.
- Izmeklē datu neatbilstības, kanālu kļūmes, saskaņošanas nesakritības un avotsistēmu problēmas, veicot pamatcēloņa analīzi.
Prasības
- Bakalaura grāds datorzinātnēs, inženierzinātnēs, informācijas tehnoloģijās, datu inženierijā, analītikā, matemātikā, statistikā vai saistītā jomā un vismaz 6 gadu atbilstoša pieredze; alternatīvi – maģistra grāds ar vismaz 4 gadu vai doktora grāds ar vismaz 3 gadu atbilstošu pieredzi.
- Praktiski pierādītas prasmes darbā ar SQL, Python, PySpark, Apache Flink vai līdzvērtīgu straumēšanas apstrādes ietvaru un liela mēroga izkliedētu datu apstrādi.
- Pieredze darbā ar dbt vai līdzvērtīgu transformāciju ietvaru, Airflow vai līdzīgiem orkestrēšanas rīkiem, Kafka vai līdzvērtīgu notikumu straumēšanas platformu un mākoņa vai uzņēmumu datu tehnoloģijām, piemēram, BigQuery, Hive vai Spark.
- Pieredze ražošanas pakešu un straumēšanas datu kanālu, ELT/ETL darba plūsmu, datu modeļu un atkārtoti izmantojamu datu produktu projektēšanā, ieviešanā un atbalstīšanā.
- Pamatīgas zināšanas par datu modelēšanu, sadalīšanu, veiktspējas optimizēšanu, inkrementālu apstrādi, CDC, shēmas evolūciju, datu līgumiem, metadatu pārvaldību, izcelsmes izsekošanu un lakehouse formātiem, tostarp Apache Hudi, Apache Iceberg vai Delta Lake.
- Pieredze datu kvalitātes pārbaužu, saskaņošanas loģikas, validācijas ietvaru, novērojamības, uzraudzības, brīdinājumu un ražošanas kanālu incidentu risināšanas ieviešanā.
- Pieredze straumēšanas risinājumu izstrādē ar notikuma laika apstrādi, stāvokli uzturošām transformācijām, kontrolpunktiem, ūdenszīmēm, tieši vienreizēju vai praktiski vienreizēju apstrādi un atkārtotas atskaņošanas vai atkārtotas aizpildīšanas stratēģijām.
- Pieredze lielu strukturētu un daļēji strukturētu datu kopumu apstrādē no vairākām avotsistēmām, tostarp operacionāliem datiem ar nekonsekventām biznesa definīcijām.
- Spēcīgas sadarbības prasmes un spēja strādāt finanšu, audita, operāciju, produktu, datu zinātnes un inženierijas jomās.
- Minimālās kvalifikācijas alternatīvas ietver bakalaura grādu datorzinātnēs un 3 gadu programmatūras inženierijas vai saistītu jomu pieredzi; 5 gadu programmatūras inženierijas vai saistītu jomu pieredzi; vai maģistra grādu datorzinātnēs un 1 gada programmatūras inženierijas vai saistītu jomu pieredzi.
- Vismaz 2 gadu pieredze datu inženierijā, datubāzu inženierijā, biznesa inteliģencē vai biznesa analītikā.
Priekšrocības
- Uz sniegumu balstītas veicināšanas balvas.
- Grūtniecības un bērna kopšanas atvaļinājums.
- Apmaksāts brīvais laiks.
- Veselības pabalsti.