Walmart
Walmart
Walmart is een wereldwijd retail- en e-commercebedrijf dat consumenten bedient via hypermarkten, discountwarenhuizen, supermarkten en een online marktplaats. Het brede productaanbod wordt ondersteund door een groot netwerk van fysieke winkels, directe verkoop aan consumenten en de logistieke en toeleveringsketensystemen die nodig zijn om producten binnen het hele bedrijf te distribueren.

Senior Data Engineer - Bangalore, India (op locatie)

Bouw schaalbare batch- en streamingpipelines en GenAI-dataproducten voor Walmart's controles op betalingen achteraf. Verbeter de betalingsnauwkeurigheid, afstemming, terugvorderingsprocessen en financiële analyses.

Beschrijving

  • Bouw en onderhoud schaalbare batch-, streaming- en vrijwel realtime pipelines voor controles op betalingen achteraf, betalingsintegriteit, afstemming met leveranciers, terugvorderingsactiviteiten en financiële analyses.
  • Ontwikkel samengestelde datasets, semantische modellen, featureklare tabellen en herbruikbare dataproducten uit factuur-, inkooporder-, ontvangst-, leveranciers-, claim-, prijs- en betalingssystemen.
  • Maak ELT-, ETL- en streamingworkflows met SQL, Python, PySpark, Apache Flink, dbt, orkestratietools, eventstreamingplatforms en clouddatatechnologieën.
  • Ontwikkel streaming- en change-data-capturepipelines met verwerking op basis van eventtijd, verwerking van vertraagde gegevens, replaybaarheid, idempotentie, backfills en herstel na storingen.
  • Ontwerp en beheer lakehouse-dataproducten met Apache Hudi, Apache Iceberg of Delta Lake.
  • Stel controles op datakwaliteit, afstemmingscontroles, schemavalidatie, data lineage, monitoring, waarschuwingen en observability-praktijken in.
  • Werk samen met Finance-, Audit-, Operations-, Product-, Data Science- en Engineering-teams om productierijpe dataoplossingen te leveren.
  • Maak anomaliedetectie, prioritering van uitzonderingen, auditregels, machine-learningscores en GenAI-workflows mogelijk.
  • Creëer automatisering en dataservices waarmee auditteams bewijs kunnen samenvatten, uitzonderingen kunnen prioriteren, context voor onderzoeken kunnen bieden en handmatige controles kunnen verminderen.
  • Implementeer GenAI-patronen voor data-engineering, zoals documentopslag die geschikt is voor retrieval, embeddingpipelines, integraties met vectordatabases, verrijking van metadata en beheerde kennisretrieval.
  • Verbeter batch- en streamingworkloads op het gebied van betrouwbaarheid, actualiteit, latentie, statusbeheer, rekenefficiëntie en bruikbaarheid voor downstreamsystemen.
  • Onderzoek data-afwijkingen, pipelinefouten, afstemmingsverschillen en problemen in bronsystemen door middel van oorzaakanalyses.

Vereisten

  • Bacheloropleiding in Computer Science, Engineering, informatietechnologie, data-engineering, analytics, wiskunde, statistiek of een verwante richting plus minstens 6 jaar relevante ervaring; als alternatief een masteropleiding met minstens 4 jaar of een doctoraat met minstens 3 jaar relevante ervaring.
  • Aantoonbare praktische ervaring met SQL, Python, PySpark, Apache Flink of een vergelijkbaar stream-processingframework en grootschalige gedistribueerde gegevensverwerking.
  • Ervaring met dbt of een vergelijkbaar transformatieframework, Airflow of vergelijkbare orkestratietools, Kafka of een gelijkwaardig eventstreamingplatform en cloud- of enterprise-datatechnologieën zoals BigQuery, Hive of Spark.
  • Aantoonbare ervaring met het ontwerpen, implementeren en ondersteunen van productiegerichte batch- en streamingpipelines, ELT-/ETL-workflows, datamodellen en herbruikbare dataproducten.
  • Grondige kennis van datamodellering, partitionering, performancetuning, incrementele verwerking, CDC, schema-evolutie, datacontracten, metadatabeheer, data lineage en lakehouse-formaten, waaronder Apache Hudi, Apache Iceberg of Delta Lake.
  • Ervaring met het leveren van datakwaliteitscontroles, afstemmingslogica, validatieframeworks, observability, monitoring, waarschuwingen en incidentoplossing voor productiepipelines.
  • Ervaring met het ontwikkelen van streamingoplossingen met verwerking op basis van eventtijd, stateful transformaties, checkpointing, watermarking, exactly-once- of effectively-once-verwerking en strategieën voor replay of backfill.
  • Ervaring met het verwerken van grote gestructureerde en semigestructureerde datasets uit meerdere bronsystemen, waaronder operationele gegevens met inconsistente bedrijfsdefinities.
  • Sterke samenwerkingsvaardigheden en het vermogen om samen te werken met Finance, Audit, Operations, Product, Data Science en Engineering.
  • Mogelijke minimumkwalificaties zijn een bacheloropleiding in Computer Science met 3 jaar ervaring in software-engineering of een verwant gebied; 5 jaar ervaring in software-engineering of een verwant gebied; of een masteropleiding in Computer Science met 1 jaar ervaring in software-engineering of een verwant gebied.
  • Minstens 2 jaar ervaring in data-engineering, database-engineering, business intelligence of business analytics.

Voordelen

  • Prestatieafhankelijke incentive-uitkeringen.
  • Zwangerschaps- en ouderschapsverlof.
  • Betaald verlof.
  • Gezondheidsvoorzieningen.

Gerelateerde vacatures

I

Senior Engineering Manager Risicotechniek

Imprint
201 – 500 Medewerkers
AdviesFinanciënMarketing

Leid backendteams die bij Imprint verantwoordelijk zijn voor realtime betalingsautorisatie, fraudebeslissingen en kredietbeoordeling. Imprint is een platform voor geïntegreerde betalingen en krediet.

Openen
Martin & Company

Directeur P&C-verzekeringsadvies

Martin & Company
51 – 200 Medewerkers
AdviesLogistiekVerzekeringen

Leid klantgerichte adviestrajecten op het gebied van schadeverzekeringen bij Martin & Company, een technologiegedreven adviesbureau voor de verzekeringssector. Bepaal de projectomvang, bewaak de kwaliteit, ontwikkel klantrelaties en begeleid consultants.

Openen
General Dynamics Information Technology

Vicepresident en algemeen directeur Marine en Marine Corps

General Dynamics Information Technology

Geef leiding aan GDIT’s technologieportfolio voor de Amerikaanse marine en het Marine Corps, met een jaaromzet van meer dan 700 miljoen dollar. Bepaal de bedrijfsstrategie, houd toezicht op financiële resultaten en dienstverlening en stimuleer groei binnen defensieprogramma’s.

Openen
Powered by Search

Hoofd Groei, Canada (remote)

Powered by Search
11 – 50 Medewerkers
B2BMarketingSaaS

Geef leiding aan SEO, generatieve zoekmachineoptimalisatie, betaalde klantenwerving en merkambassadeurschap bij een B2B-bureau voor vraaggeneratie. Bouw de verkooppijplijn uit met AI-agentworkflows, content, webinars, podcasts en branche-evenementen.

Openen