A Walmart globális kiskereskedelmi és e-kereskedelmi vállalat, amely hipermarketeken, diszkontáruházakon, élelmiszerüzleteken és online piactéren keresztül szolgálja ki a fogyasztókat. Széles termékkínálatát kiterjedt fizikai üzlethálózat, közvetlen fogyasztói értékesítési tevékenység, valamint a termékek vállalaton belüli mozgatásához szükséges logisztikai és ellátásilánc-rendszerek támogatják.
Senior adatmérnök - Bangalore, India (Irodai munkavégzés)
Skálázható kötegelt és adatfolyam-alapú folyamatokat, valamint generatív mesterséges intelligenciát használó adattermékeket fejleszthet a Walmart utólagos fizetési ellenőrzési műveleteihez. Javíthatja a fizetések pontosságát, az egyeztetést, a megtérülési folyamatokat és a pénzügyi elemzést.
Leírás
- Skálázható kötegelt, adatfolyam-alapú és közel valós idejű adatfolyamatokat épít és tart fenn az utólagos fizetési ellenőrzés, a fizetési integritás, a beszállítói egyeztetés, a megtérülési műveletek és a pénzügyi elemzés támogatására.
- Kurált adatkészleteket, szemantikus modelleket, jellemzőkész táblákat és újrafelhasználható adattermékeket fejleszt számla-, beszerzési rendelés-, áruátvételi-, beszállítói-, reklamációs-, árazási- és fizetési rendszerekből.
- ELT-, ETL- és adatfolyam-munkafolyamatokat hoz létre SQL, Python, PySpark, Apache Flink, dbt, vezénylési eszközök, eseményfolyam-platformok és felhőalapú adattechnológiák használatával.
- Eseményidő-alapú feldolgozással, későn érkező adatok kezelésével, újrajátszhatósággal, idempotenciával, visszatöltéssel és hibák utáni helyreállítással rendelkező adatfolyam- és változásadat-rögzítési folyamatokat fejleszt.
- Apache Hudi, Apache Iceberg vagy Delta Lake használatával lakehouse adattermékeket tervez és üzemeltet.
- Adatminőség-ellenőrzéseket, egyeztetési kontrollokat, sémaellenőrzést, adatleszármazást, monitorozást, riasztást és megfigyelhetőségi gyakorlatokat alakít ki.
- A Pénzügy, az Ellenőrzés, az Üzemeltetés, a Termék, az Adattudomány és a Mérnökség csapataival együttműködve éles használatra kész adatmegoldásokat szállít.
- Lehetővé teszi az anomáliaészlelést, a kivételek rangsorolását, az ellenőrzési szabályokat, a gépi tanulási pontozást és a generatív mesterséges intelligenciát használó munkafolyamatokat.
- Olyan automatizálásokat és adatszolgáltatásokat hoz létre, amelyek segítenek az ellenőrzési csapatoknak összefoglalni a bizonyítékokat, osztályozni a kivételeket, vizsgálati kontextust biztosítani és csökkenteni a manuális felülvizsgálatot.
- Generatív mesterséges intelligenciát támogató adatmérnöki mintákat alkalmaz, például visszakeresésre kész dokumentumtárakat, beágyazási folyamatokat, vektoraadatbázis-integrációkat, metaadat-gazdagítást és szabályozott tudás-visszakeresést.
- A kötegelt és adatfolyam-alapú munkaterheléseket megbízhatóság, frissesség, késleltetés, állapotkezelés, számítási hatékonyság és az alárendelt rendszerek használhatósága szempontjából javítja.
- Gyökérok-elemzéssel vizsgálja az adateltéréseket, a folyamatok hibáit, az egyeztetési eltéréseket és a forrásrendszerek problémáit.
Követelmények
- Számítástechnikai, mérnöki, információtechnológiai, adatmérnöki, analitikai, matematikai, statisztikai vagy kapcsolódó területen szerzett alapképzés és legalább 6 év releváns tapasztalat; alternatívaként mesterfokozat és legalább 4 év, illetve doktori fokozat és legalább 3 év releváns tapasztalat.
- Bizonyított gyakorlati jártasság SQL, Python, PySpark, Apache Flink vagy hasonló adatfolyam-feldolgozási keretrendszer, valamint nagyméretű elosztott adatfeldolgozás terén.
- Tapasztalat a dbt vagy hasonló transzformációs keretrendszer, az Airflow vagy hasonló vezénylési eszközök, a Kafka vagy egyenértékű eseményfolyam-platform, valamint felhőalapú vagy vállalati adattechnológiák, például a BigQuery, a Hive vagy a Spark használatában.
- Bizonyított tapasztalat éles kötegelt és adatfolyam-alapú folyamatok, ELT/ETL-munkafolyamatok, adatmodellek és újrafelhasználható adattermékek tervezésében, bevezetésében és támogatásában.
- Alapos ismeretek az adatmodellezés, particionálás, teljesítményhangolás, inkrementális feldolgozás, CDC, sémafejlődés, adatszerződések, metaadat-kezelés, adatleszármazás és az Apache Hudi, Apache Iceberg vagy Delta Lake formátumokat is magában foglaló lakehouse-technológiák terén.
- Tapasztalat adatminőség-ellenőrzések, egyeztetési logika, validációs keretrendszerek, megfigyelhetőség, monitorozás, riasztás és incidensmegoldás megvalósításában éles folyamatokhoz.
- Tapasztalat adatfolyam-alapú megoldások fejlesztésében eseményidő-feldolgozással, állapottartó transzformációkkal, ellenőrzőpontokkal, vízjelekkel, pontosan egyszeri vagy gyakorlatilag egyszeri feldolgozással, valamint újrajátszási vagy visszatöltési stratégiákkal.
- Tapasztalat több forrásrendszerből származó nagy méretű strukturált és félig strukturált adatkészletek kezelésében, beleértve az inkonzisztens üzleti definíciókkal rendelkező operatív adatokat is.
- Erős együttműködési készség és képesség a Pénzügy, az Ellenőrzés, az Üzemeltetés, a Termék, az Adattudomány és a Mérnökség területén dolgozó csapatokkal való együttműködésre.
- Az alapképesítés alternatív lehetőségei közé tartozik a számítástechnikai alapképzés és 3 év szoftvermérnöki vagy kapcsolódó tapasztalat; 5 év szoftvermérnöki vagy kapcsolódó tapasztalat; vagy számítástechnikai mesterfokozat és 1 év szoftvermérnöki vagy kapcsolódó tapasztalat.
- Legalább 2 év tapasztalat adatmérnöki, adatbázis-mérnöki, üzleti intelligencia vagy üzleti elemzési területen.
Juttatások
- Teljesítményalapú ösztönző juttatások.
- Szülési és szülői szabadság.
- Fizetett szabadság.
- Egészségügyi juttatások.