Walmart
Walmart
Walmart ist ein global tätiges Einzelhandels- und E-Commerce-Unternehmen, das Verbraucher über Verbrauchermärkte, Discount-Kaufhäuser, Lebensmittelgeschäfte und einen Online-Marktplatz versorgt. Das breite Produktangebot wird durch ein großes Netz physischer Filialen, Direktvertriebsaktivitäten sowie die Logistik- und Lieferkettensysteme unterstützt, die den Warenfluss im gesamten Unternehmen sicherstellen.

Senior Data Engineer – Bangalore, Indien (vor Ort)

Entwickle skalierbare Batch- und Streaming-Pipelines sowie GenAI-Datenprodukte für die nachgelagerte Zahlungsprüfung bei Walmart. Verbessere Zahlungsgenauigkeit, Abstimmung, Rückgewinnungsprozesse und Finanzanalysen.

Beschreibung

  • Entwickle und betreibe skalierbare Batch-, Streaming- und nahezu echtzeitfähige Pipelines für nachgelagerte Zahlungsprüfungen, Zahlungsintegrität, Lieferantenabstimmung, Rückgewinnungsprozesse und Finanzanalysen.
  • Entwickle kuratierte Datensätze, semantische Modelle, für Features geeignete Tabellen und wiederverwendbare Datenprodukte aus Rechnungs-, Bestell-, Wareneingangs-, Lieferanten-, Schadens-, Preis- und Zahlungssystemen.
  • Erstelle ELT-, ETL- und Streaming-Workflows mit SQL, Python, PySpark, Apache Flink, dbt, Orchestrierungstools, Event-Streaming-Plattformen und Cloud-Datentechnologien.
  • Entwickle Streaming- und Change-Data-Capture-Pipelines mit Ereigniszeitverarbeitung, Umgang mit verspäteten Daten, Wiederholbarkeit, Idempotenz, Nachverarbeitung und Fehlerwiederherstellung.
  • Entwirf und betreibe Lakehouse-Datenprodukte mit Apache Hudi, Apache Iceberg oder Delta Lake.
  • Etabliere Datenqualitätsprüfungen, Abstimmungskontrollen, Schemainvalidierung, Datenherkunft, Überwachung, Alarmierung und Observability-Verfahren.
  • Arbeite mit den Teams für Finanzen, Audit, Operations, Produkt, Data Science und Engineering zusammen, um produktionsreife Datenlösungen bereitzustellen.
  • Ermögliche Anomalieerkennung, Priorisierung von Ausnahmen, Auditregeln, Machine-Learning-Bewertungen und GenAI-Workflows.
  • Erstelle Automatisierungen und Datendienste, die Audit-Teams dabei unterstützen, Nachweise zusammenzufassen, Ausnahmen zu priorisieren, Untersuchungskontext bereitzustellen und manuelle Prüfungen zu reduzieren.
  • Implementiere GenAI-Muster im Data Engineering, etwa abrufbereite Dokumentenspeicher, Embedding-Pipelines, Integrationen mit Vektordatenbanken, Metadatenanreicherung und kontrollierten Wissensabruf.
  • Verbessere Batch- und Streaming-Workloads hinsichtlich Zuverlässigkeit, Aktualität, Latenz, Zustandsverwaltung, Recheneffizienz und nachgelagerter Nutzbarkeit.
  • Untersuche Datenabweichungen, Pipeline-Fehler, Unstimmigkeiten bei Abstimmungen und Probleme in Quellsystemen durch Ursachenanalysen.

Anforderungen

  • Bachelorabschluss in Informatik, Ingenieurwesen, Informationstechnologie, Data Engineering, Analytics, Mathematik, Statistik oder einer verwandten Fachrichtung sowie mindestens 6 Jahre einschlägige Erfahrung; alternativ ein Masterabschluss mit mindestens 4 Jahren oder eine Promotion mit mindestens 3 Jahren einschlägiger Erfahrung.
  • Nachweisliche praktische Erfahrung mit SQL, Python, PySpark, Apache Flink oder einem vergleichbaren Stream-Processing-Framework sowie mit verteilter Datenverarbeitung im großen Maßstab.
  • Erfahrung mit dbt oder einem vergleichbaren Transformations-Framework, Airflow oder ähnlichen Orchestrierungstools, Kafka oder einer gleichwertigen Event-Streaming-Plattform sowie Cloud- oder Enterprise-Datentechnologien wie BigQuery, Hive oder Spark.
  • Nachweisliche Erfahrung im Entwurf, in der Bereitstellung und im Betrieb produktiver Batch- und Streaming-Pipelines, ELT-/ETL-Workflows, Datenmodelle und wiederverwendbarer Datenprodukte.
  • Fundierte Kenntnisse in Datenmodellierung, Partitionierung, Performance-Tuning, inkrementeller Verarbeitung, CDC, Schemaentwicklung, Datenverträgen, Metadatenmanagement, Datenherkunft und Lakehouse-Formaten einschließlich Apache Hudi, Apache Iceberg oder Delta Lake.
  • Erfahrung mit der Umsetzung von Datenqualitätsprüfungen, Abstimmungslogik, Validierungs-Frameworks, Observability, Überwachung, Alarmierung und der Behebung von Vorfällen in produktiven Pipelines.
  • Erfahrung in der Entwicklung von Streaming-Lösungen mit Ereigniszeitverarbeitung, zustandsbehafteten Transformationen, Checkpointing, Watermarking, Exactly-once- oder Effectively-once-Verarbeitung sowie Strategien für Wiederholungen oder Nachverarbeitung.
  • Erfahrung im Umgang mit großen strukturierten und semistrukturierten Datensätzen aus mehreren Quellsystemen, einschließlich Betriebsdaten mit uneinheitlichen Geschäftsdefinitionen.
  • Ausgeprägte Fähigkeiten zur Zusammenarbeit und die Fähigkeit, teamübergreifend mit Finanzen, Audit, Operations, Produkt, Data Science und Engineering zu arbeiten.
  • Mögliche Mindestqualifikationen umfassen einen Bachelorabschluss in Informatik mit 3 Jahren Erfahrung in Softwareentwicklung oder einem verwandten Bereich; 5 Jahre Erfahrung in Softwareentwicklung oder einem verwandten Bereich; oder einen Masterabschluss in Informatik mit 1 Jahr Erfahrung in Softwareentwicklung oder einem verwandten Bereich.
  • Mindestens 2 Jahre Erfahrung in Data Engineering, Datenbank-Engineering, Business Intelligence oder Business Analytics.

Zusatzleistungen

  • Leistungsabhängige Incentive-Zahlungen.
  • Mutterschafts- und Elternzeit.
  • Bezahlte Freistellung.
  • Gesundheitsleistungen.

Ähnliche Stellen

TEKsystems

Remote-Projektmanager für Datenplattform-Integration

TEKsystems

Koordinieren Sie unternehmensweite Dateninitiativen, Berichtsmigrationen und die Nutzerakzeptanz für Kunden von TEKsystems Technology Services. Unterstützen Sie Governance, Projektverfolgung und die Umsetzung über Fachbereiche und technische Teams hinweg.

Öffnen
Ambush

Senior Machine-Learning- und KI-Ingenieur

Ambush

Entwickle produktionsreife generative KI- und Agenten-Workflows für Kunden aus dem Finanzdienstleistungssektor von Ambush. Baue Python- und FastAPI-Dienste, SQL-Datenworkflows, Retrieval-Augmented Generation und cloudbasierte KI-Systeme.

Öffnen
GFN

Senior Software Engineer für maschinelles Lernen

GFN
201 – 500 Mitarbeitende
E-CommerceFintechSaaS

Entwickle Backend-Infrastruktur und KI-gestützte Lernprodukte für GFN, einen deutschen Bildungsanbieter. Gestalte skalierbare Bildungsplattformen mit robuster Softwarearchitektur und praxisnahem maschinellem Lernen.

Öffnen
TEKsystems

Projektmanager für Remote-Datenprogramme – Washington

TEKsystems

Koordiniere unternehmensweite Dateninitiativen, Berichtsmigrationen sowie die Einführung neuer Prozesse und Reporting-Lösungen für TEKsystems. Verfolge Projektfortschritt, Risiken, Ergebnisse und Kommunikation mit fachlichen und technischen Beteiligten.

Öffnen