Walmart er en global detailhandels- og e-handelsvirksomhed, der betjener forbrugere gennem hypermarkeder, lavprisvarehuse, dagligvarebutikker og en online markedsplads. Det brede produktsortiment understøttes af et stort netværk af fysiske butikker, direkte salg til forbrugere samt de logistik- og forsyningskædesystemer, der er nødvendige for at holde varerne i bevægelse gennem hele virksomheden.
Senior dataingeniør – Bangalore, Indien (på kontoret)
Byg skalerbare batch- og streamingpipelines samt GenAI-dataprodukter til Walmarts efterfølgende betalingsrevision. Forbedr betalingsnøjagtighed, afstemning, inddrivelsesprocesser og finansiel analyse.
Beskrivelse
- Byg og vedligehold skalerbare batch-, streaming- og næsten realtidspipelines til efterfølgende betalingsrevision, betalingsintegritet, leverandørafstemning, inddrivelsesaktiviteter og finansiel analyse.
- Udvikl kuraterede datasæt, semantiske modeller, feature-klare tabeller og genanvendelige dataprodukter fra faktura-, indkøbsordre-, modtagelses-, leverandør-, krav-, pris- og betalingssystemer.
- Opret ELT-, ETL- og streamingarbejdsgange med SQL, Python, PySpark, Apache Flink, dbt, orkestreringsværktøjer, eventstreamingplatforme og cloud-datateknologier.
- Udvikl streaming- og ændringsdatafangstpipelines med behandling efter hændelsestidspunkt, håndtering af forsinkede data, genafspilning, idempotens, backfills og fejlgendannelse.
- Design og driv lakehouse-dataprodukter ved hjælp af Apache Hudi, Apache Iceberg eller Delta Lake.
- Etabler datakvalitetskontroller, afstemningskontroller, skemavalidering, datalinjer, overvågning, alarmering og praksisser for observerbarhed.
- Samarbejd med økonomi-, revisions-, drifts-, produkt-, datavidenskabs- og engineeringteams om at levere produktionsklare dataløsninger.
- Muliggør anomalidetektion, prioritering af undtagelser, revisionsregler, machine learning-scoring og GenAI-arbejdsgange.
- Skab automatisering og datatjenester, der hjælper revisionsteams med at opsummere dokumentation, triagere undtagelser, give undersøgelseskontekst og reducere manuel gennemgang.
- Implementer GenAI-mønstre inden for data engineering, såsom dokumentlagre klar til informationssøgning, embeddingpipelines, integrationer med vektordatabaser, metadataforbedring og styret videnssøgning.
- Forbedr batch- og streamingarbejdsbelastninger med hensyn til pålidelighed, aktualitet, latenstid, tilstandsstyring, beregningseffektivitet og anvendelighed i efterfølgende systemer.
- Undersøg dataafvigelser, pipelinefejl, afstemningsuoverensstemmelser og problemer i kildesystemer gennem årsagsanalyse.
Krav
- Bachelorgrad i datalogi, ingeniørvidenskab, informationsteknologi, data engineering, analyse, matematik, statistik eller et beslægtet fagområde samt mindst 6 års relevant erfaring; alternativt en kandidatgrad med mindst 4 års erfaring eller en ph.d. med mindst 3 års relevant erfaring.
- Dokumenteret praktisk erfaring med SQL, Python, PySpark, Apache Flink eller et sammenligneligt stream-processingframework samt storskala distribueret databehandling.
- Erfaring med dbt eller et sammenligneligt transformationsframework, Airflow eller lignende orkestreringsværktøjer, Kafka eller en tilsvarende eventstreamingplatform samt cloud- eller virksomhedsdatateknologier som BigQuery, Hive eller Spark.
- Dokumenteret erfaring med at designe, implementere og understøtte batch- og streamingpipelines i produktion, ELT/ETL-arbejdsgange, datamodeller og genanvendelige dataprodukter.
- Solid viden om datamodellering, partitionering, performanceoptimering, inkrementel behandling, CDC, skemaudvikling, datakontrakter, metadatahåndtering, datalinjer og lakehouse-formater, herunder Apache Hudi, Apache Iceberg eller Delta Lake.
- Erfaring med at levere datakvalitetskontroller, afstemningslogik, valideringsframeworks, observerbarhed, overvågning, alarmering og incidenthåndtering for produktionspipelines.
- Erfaring med at udvikle streamingløsninger med behandling efter hændelsestidspunkt, tilstandsfulde transformationer, checkpointing, watermarking, exactly-once eller effectively-once-behandling samt strategier for genafspilning eller backfill.
- Erfaring med håndtering af store strukturerede og semistrukturerede datasæt fra flere kildesystemer, herunder driftsdata med inkonsistente forretningsdefinitioner.
- Stærke samarbejdsevner og evnen til at arbejde på tværs af økonomi, revision, drift, produkt, datavidenskab og engineering.
- Alternative minimumskvalifikationer omfatter en bachelorgrad i datalogi med 3 års erfaring inden for softwareudvikling eller et beslægtet område; 5 års erfaring inden for softwareudvikling eller et beslægtet område; eller en kandidatgrad i datalogi med 1 års erfaring inden for softwareudvikling eller et beslægtet område.
- Mindst 2 års erfaring inden for data engineering, database engineering, business intelligence eller forretningsanalyse.
Fordele
- Præstationsbaserede incitamentsordninger.
- Barsels- og forældreorlov.
- Betalt fri.
- Sundhedsydelser.