Walmart on maailmanlaajuinen vähittäiskauppa- ja verkkokauppayritys, joka palvelee kuluttajia hypermarkettien, tavaratalojen, ruokakauppojen ja verkkokauppapaikan kautta. Sen laajaa tuotevalikoimaa tukevat kattava fyysisten myymälöiden verkosto, suoraan kuluttajille suunnatut toiminnot sekä logistiikka- ja toimitusketjujärjestelmät, jotka pitävät tuotteet liikkeessä koko liiketoiminnassa.
Vanhempi data-insinööri – Bangalore, Intia (paikan päällä)
Rakenna skaalautuvia erä- ja suoratoistoputkia sekä GenAI-datatuotteita Walmartin maksamisen jälkeisen tarkastuksen toimintoihin. Paranna maksujen oikeellisuutta, täsmäytystä, palautusprosesseja ja talousanalytiikkaa.
Kuvaus
- Rakenna ja ylläpidä skaalautuvia erä-, suoratoisto- ja lähes reaaliaikaisia putkia maksamisen jälkeiseen tarkastukseen, maksujen eheyteen, toimittajien täsmäytykseen, palautustoimintoihin ja talousanalytiikkaan.
- Kehitä kuratoituja tietojoukkoja, semanttisia malleja, ominaisuusvalmiita tauluja ja uudelleenkäytettäviä datatuotteita lasku-, ostotilaus-, vastaanotto-, toimittaja-, korvausvaatimus-, hinnoittelu- ja maksujärjestelmistä.
- Luo ELT-, ETL- ja suoratoistotyönkulkuja SQL:llä, Pythonilla, PySparkilla, Apache Flinkillä, dbt:llä, orkestrointityökaluilla, tapahtumasuoratoistoalustoilla ja pilvidatateknologioilla.
- Kehitä suoratoisto- ja muutosdatan kaappausputkia, joissa käytetään tapahtuma-ajan käsittelyä, myöhästyneen datan hallintaa, uudelleentoistoa, idempotenssia, takautuvia täyttöjä ja vikatilanteista palautumista.
- Suunnittele ja käytä Apache Hudia, Apache Icebergiä tai Delta Lakea hyödyntäviä lakehouse-datatuotteita.
- Luo datan laatutarkistuksia, täsmäytyksen hallintakeinoja, skeeman validointia, tietojen alkuperän seurantaa, valvonta-, hälytys- ja havainnointikäytäntöjä.
- Työskentele talous-, tarkastus-, operaatio-, tuote-, datatiede- ja insinööritiimien kanssa tuotantovalmiiden dataratkaisujen toimittamiseksi.
- Mahdollista poikkeamien havaitseminen, poikkeusten priorisointi, tarkastussäännöt, koneoppimisen pisteytys ja GenAI-työnkulut.
- Luo automaatiota ja datapalveluita, jotka auttavat tarkastustiimejä tiivistämään näyttöä, lajittelemaan poikkeuksia, tarjoamaan tutkintakontekstia ja vähentämään manuaalista tarkastelua.
- Toteuta GenAI-datatekniikan malleja, kuten hakua varten valmiita dokumenttivarastoja, upotusputkia, vektoritietokantaintegraatioita, metadatan rikastamista ja hallittua tietämyksen hakua.
- Paranna erä- ja suoratoistotyökuormien luotettavuutta, tuoreutta, viivettä, tilanhallintaa, laskentatehokkuutta ja jatkokäytettävyyttä.
- Tutki dataeroja, putkistovikoja, täsmäytyspoikkeamia ja lähdejärjestelmien ongelmia juurisyyanalyysin avulla.
Vaatimukset
- Tietojenkäsittelytieteen, tekniikan, tietotekniikan, data- ja analytiikkatekniikan, matematiikan, tilastotieteen tai vastaavan alan kandidaatin tutkinto ja vähintään 6 vuotta asiaankuuluvaa kokemusta; vaihtoehtoisesti maisterin tutkinto ja vähintään 4 vuotta tai tohtorin tutkinto ja vähintään 3 vuotta asiaankuuluvaa kokemusta.
- Käytännön näyttöä SQL:n, Pythonin, PySparkin, Apache Flinkin tai vastaavan suoratoistonkäsittelykehyksen sekä laajamittaisen hajautetun datankäsittelyn hallinnasta.
- Kokemusta dbt:stä tai vastaavasta muunnoskehyksestä, Airflow’sta tai vastaavista orkestrointityökaluista, Kafkasta tai vastaavasta tapahtumasuoratoistoalustasta sekä pilvi- tai yritysdatateknologioista, kuten BigQuerystä, Hivestä tai Sparkista.
- Näyttöä tuotannollisten erä- ja suoratoistoputkien, ELT/ETL-työnkulkujen, datamallien ja uudelleenkäytettävien datatuotteiden suunnittelusta, käyttöönotosta ja tuesta.
- Vahva tietämys datamallinnuksesta, osioinnista, suorituskyvyn optimoinnista, inkrementaalisesta käsittelystä, CDC:stä, skeeman evoluutiosta, datasopimuksista, metadatan hallinnasta, tietojen alkuperästä ja lakehouse-formaateista, kuten Apache Hudista, Apache Icebergistä tai Delta Lakesta.
- Kokemusta datan laatutarkistusten, täsmäytyslogiikan, validointikehysten, havainnoitavuuden, valvonnan, hälytysten ja tuotantoputkien häiriöiden ratkaisun toteuttamisesta.
- Kokemusta suoratoistoratkaisujen kehittämisestä tapahtuma-ajan käsittelyllä, tilallisilla muunnoksilla, tarkistuspisteillä, vesileimoilla, täsmälleen kerran tai käytännössä kerran -käsittelyllä sekä uudelleentoisto- tai takautuvien täyttöjen strategioilla.
- Kokemusta suurten rakenteisten ja puolirakenteisten tietojoukkojen käsittelystä useista lähdejärjestelmistä, mukaan lukien operatiivinen data, jossa liiketoimintamääritelmät ovat epäjohdonmukaisia.
- Erinomaiset yhteistyötaidot ja kyky työskennellä talous-, tarkastus-, operaatio-, tuote-, datatiede- ja insinööritiimien välillä.
- Vähimmäispätevyyden vaihtoehtoina ovat tietojenkäsittelytieteen kandidaatin tutkinto ja 3 vuotta ohjelmistokehityksen tai vastaavan alan kokemusta; 5 vuotta ohjelmistokehityksen tai vastaavan alan kokemusta; tai tietojenkäsittelytieteen maisterin tutkinto ja 1 vuosi ohjelmistokehityksen tai vastaavan alan kokemusta.
- Vähintään 2 vuotta kokemusta data- tai tietokantatekniikasta, liiketoimintatiedosta tai liiketoiminta-analytiikasta.
Edut
- Suoritukseen perustuvat kannustinpalkkiot.
- Äitiys- ja vanhempainvapaa.
- Palkallinen vapaa.
- Terveyteen liittyvät edut.