ClickBus je potovalna platforma, ki ljudem pomaga iskati in kupovati vozovnice za medkrajevne avtobuse po Braziliji in Latinski Ameriki. Njeno spletno mesto in mobilna aplikacija povezujeta potnike z več kot 200 avtobusnimi prevozniki in več kot 4.800 destinacijami, funkcije, kot je ClickOferta, ter različni načini plačila pa podpirajo različne potrebe pri rezervaciji. Podjetje si prizadeva poenostaviti načrtovanje in nakup avtobusnih potovanj na dolge razdalje prek digitalne platforme.
Podatkovni inženir srednje ravni pri ClickBusu
Gradite in optimizirajte paketne in pretočne podatkovne cevovode za tržnico avtobusnih vozovnic ClickBus. Delajte z AWS, Sparkom, Airflowom, dbt in praksami kakovosti podatkov za izboljšanje zmogljivosti, stroškov in zanesljivosti.
Opis
- Gradite, vzdržujte in izboljšujte paketne in pretočne cevovode z Airflowom na EKS, EMR/Sparku in dbt
- Ustvarjajte procese za zajem podatkov iz DMS, API-jev, datotek in dogodkov ter organizirajte podatke po plasteh Data Laka
- Diagnosticirajte in odpravljajte incidente v cevovodih, vključno z napakami DAG-ov, napakami pri obdelavi, nedoslednimi metrikami in težavami s shemami
- Izvajajte analize temeljnih vzrokov in priporočajte spremembe, ki preprečujejo ponavljajoče se napake
- Vzdržujte kakovost podatkov z avtomatiziranim testiranjem, validacijskimi preverjanji in postopki usklajevanja
- Razvijajte in optimizirajte transformacije v Sparku in dbt za boljšo zmogljivost in nadzor stroškov
- Optimizirajte poizvedbe v Atheni in modele dbt za znižanje stroškov obdelave ter izboljšanje odzivnega časa
- Izvajajte inkrementalno nalaganje append, overwrite in merge/upsert z dosledno in idempotentno obdelavo
- Prispevajte k tehničnim izboljšavam in standardizaciji z razvojem podatkovne arhitekture
- Pregledujte kodo in uporabljajte dobre prakse za upravljanje različic in tehnično dokumentacijo
- Sodelujte s poslovnimi ekipami, da potrdite, da dostavljeni podatki izpolnjujejo funkcionalne potrebe
- Spremljajte izvajanje cevovodov in prepoznavajte priložnosti za nenehne izboljšave
Zahteve
- Dokazane izkušnje z delom podatkovnega inženirja v okolju v oblaku
- Praktične izkušnje z izdelavo in upravljanjem produkcijskih podatkovnih cevovodov
- Izkušnje z odpravljanjem težav in reševanjem podatkovnih incidentov
- Izkušnje z načrtovanjem analitičnih modelov s tabelami dejstev in dimenzij
- Poznavanje strategij inkrementalnega nalaganja in particioniranja podatkov
- Delovno znanje storitev AWS, vključno s S3, Atheno, IAM in Glue Catalog; izkušnje z EMR so prednost
- Izkušnje z izdelavo in vzdrževanjem DAG-ov v Airflowu
- Praktično znanje PySparka, vključno z združevanji, particioniranjem in osnovnim uglaševanjem zmogljivosti
- Izkušnje z modeliranjem v dbt, inkrementalnimi modeli in testiranjem
- Napredno znanje SQL
- Programersko znanje Pythona
- Izkušnje z Gitom
Ugodnosti
- Mesečni dodatek za obroke ali hrano v višini 1.100 BRL, zagotovljen prek kartice Flash
- Mesečni dodatek za delo od doma v višini 149 BRL, zagotovljen prek kartice Flash
- Mesečni dodatek za prilagodljive ugodnosti v višini 200 BRL, zagotovljen prek kartice Flash
- Ugodnost Busonauta Viajante v višini 2.000 BRL letno za nakup avtobusnih vozovnic prek aplikacije ali spletnega mesta
- Dodatek za prevoz
- Ugodnost za parkiranje
- Zdravstveno zavarovanje SulAmérica brez doplačil in mesečne premije
- Zobno zavarovanje Bradesco
- Pomoč pri varstvu otrok za matere in očete
- Šest mesecev porodniškega dopusta in 30 dni očetovskega dopusta
- Življenjsko zavarovanje
- Dostop do Wellhuba in TotalPassa
- Letni bonus za udeležbo pri dobičku
- Prost dan za rojstni dan
- Partnerstvo s podjetjem Petlove
- Pomoč pri nakupu zdravil
- Podpora za otroke z invalidnostmi
- Partnerstva z izobraževalnimi in prostočasnimi ustanovami