Walmart to globalna firma zajmująca się handlem detalicznym i eCommerce, która obsługuje konsumentów za pośrednictwem hipermarketów, dyskontowych domów towarowych, sklepów spożywczych oraz internetowego marketplace’u. Szeroka oferta produktowa firmy opiera się na rozbudowanej sieci sklepów stacjonarnych, sprzedaży bezpośredniej konsumentom oraz systemach logistycznych i łańcuchach dostaw niezbędnych do sprawnego przemieszczania produktów w całej organizacji.
Starszy inżynier danych — Bangalore, Indie (praca stacjonarna)
Twórz skalowalne potoki wsadowe i strumieniowe oraz produkty danych GenAI dla operacji Walmart związanych z audytem płatności po transakcji. Zwiększaj dokładność płatności, skuteczność uzgadniania, procesów odzyskiwania środków i analityki finansowej.
Opis
- Tworzyć i utrzymywać skalowalne potoki wsadowe, strumieniowe oraz działające niemal w czasie rzeczywistym na potrzeby audytu płatności po transakcji, integralności płatności, uzgadniania danych dostawców, operacji odzyskiwania środków i analityki finansowej.
- Opracowywać przygotowane zestawy danych, modele semantyczne, tabele gotowe do użycia jako cechy oraz wielokrotnego użytku produkty danych na podstawie systemów faktur, zamówień zakupu, przyjęć, dostawców, roszczeń, cen i płatności.
- Tworzyć przepływy ELT, ETL i strumieniowe z użyciem SQL, Python, PySpark, Apache Flink, dbt, narzędzi orkiestracji, platform strumieniowania zdarzeń i chmurowych technologii danych.
- Opracowywać potoki strumieniowe i potoki przechwytywania zmian danych z przetwarzaniem według czasu zdarzenia, obsługą opóźnionych danych, możliwością odtwarzania, idempotencją, uzupełnianiem danych historycznych i odzyskiwaniem po awariach.
- Projektować i obsługiwać produkty danych lakehouse z użyciem Apache Hudi, Apache Iceberg lub Delta Lake.
- Wprowadzać kontrole jakości danych, mechanizmy uzgadniania, walidację schematów, śledzenie pochodzenia danych, monitorowanie, alerty i praktyki obserwowalności.
- Współpracować z zespołami finansów, audytu, operacji, produktu, Data Science i inżynierii w celu dostarczania gotowych do produkcji rozwiązań danych.
- Umożliwiać wykrywanie anomalii, ustalanie priorytetów wyjątków, stosowanie reguł audytowych, ocenianie za pomocą uczenia maszynowego i realizację przepływów GenAI.
- Tworzyć automatyzację i usługi danych pomagające zespołom audytowym podsumowywać dowody, sortować wyjątki, dostarczać kontekst dochodzeń i ograniczać ręczną weryfikację.
- Wdrażać wzorce inżynierii danych GenAI, takie jak magazyny dokumentów gotowe do wyszukiwania, potoki embeddingów, integracje z wektorowymi bazami danych, wzbogacanie metadanych i zarządzane wyszukiwanie wiedzy.
- Usprawniać wsadowe i strumieniowe obciążenia pod kątem niezawodności, aktualności, opóźnień, zarządzania stanem, efektywności obliczeniowej i użyteczności dla systemów downstream.
- Badać rozbieżności danych, awarie potoków, niezgodności uzgodnień i problemy systemów źródłowych za pomocą analizy przyczyn źródłowych.
Wymagania
- Wykształcenie wyższe co najmniej pierwszego stopnia w dziedzinie informatyki, inżynierii, technologii informacyjnych, inżynierii danych, analityki, matematyki, statystyki lub pokrewnej oraz co najmniej 6 lat odpowiedniego doświadczenia; alternatywnie tytuł magistra i co najmniej 4 lata doświadczenia lub stopień doktora i co najmniej 3 lata odpowiedniego doświadczenia.
- Udokumentowane praktyczne umiejętności w zakresie SQL, Python, PySpark, Apache Flink lub porównywalnego środowiska przetwarzania strumieniowego oraz rozproszonego przetwarzania danych na dużą skalę.
- Doświadczenie z dbt lub porównywalnym środowiskiem transformacji, Airflow lub podobnymi narzędziami orkiestracji, Kafka lub równoważną platformą strumieniowania zdarzeń oraz chmurowymi lub korporacyjnymi technologiami danych, takimi jak BigQuery, Hive lub Spark.
- Doświadczenie w projektowaniu, wdrażaniu i obsłudze produkcyjnych potoków wsadowych i strumieniowych, przepływów ELT/ETL, modeli danych i wielokrotnego użytku produktów danych.
- Dobra znajomość modelowania danych, partycjonowania, dostrajania wydajności, przetwarzania przyrostowego, CDC, ewolucji schematów, kontraktów danych, zarządzania metadanymi, pochodzenia danych i formatów lakehouse, w tym Apache Hudi, Apache Iceberg lub Delta Lake.
- Doświadczenie w dostarczaniu kontroli jakości danych, logiki uzgadniania, struktur walidacji, obserwowalności, monitorowania, alertowania i rozwiązywania incydentów dla potoków produkcyjnych.
- Doświadczenie w tworzeniu rozwiązań strumieniowych z przetwarzaniem według czasu zdarzenia, transformacjami stanowymi, punktami kontrolnymi, watermarkami, przetwarzaniem exactly-once lub effectively-once oraz strategiami odtwarzania lub uzupełniania danych.
- Doświadczenie w obsłudze dużych ustrukturyzowanych i częściowo ustrukturyzowanych zbiorów danych z wielu systemów źródłowych, w tym danych operacyjnych z niespójnymi definicjami biznesowymi.
- Doskonałe umiejętności współpracy i zdolność do pracy z zespołami finansów, audytu, operacji, produktu, Data Science i inżynierii.
- Minimalne alternatywy kwalifikacyjne obejmują tytuł licencjata lub inżyniera informatyki oraz 3 lata doświadczenia w inżynierii oprogramowania lub pokrewnego doświadczenia; 5 lat doświadczenia w inżynierii oprogramowania lub pokrewnego doświadczenia; albo tytuł magistra informatyki oraz 1 rok doświadczenia w inżynierii oprogramowania lub pokrewnego doświadczenia.
- Co najmniej 2 lata doświadczenia w inżynierii danych, inżynierii baz danych, analityce biznesowej lub analizie biznesowej.
Benefity
- Premie uzależnione od wyników.
- Urlop macierzyński i rodzicielski.
- Płatny czas wolny.
- Świadczenia zdrowotne.