Visa je globalno tehnološko podjetje na področju plačil, ki prek svojega elektronskega plačilnega omrežja oskrbuje potrošnike, trgovce, finančne institucije in vlade. Njena platforma podpira kreditne, debetne in predplačniške transakcije ter obdelavo plačil, preprečevanje goljufij, varnost, analitiko in druge storitve za potrošnike in podjetja. Visa razvija tudi napredne plačilne rešitve, vključno s pobudami za trgovanje z uporabo umetne inteligence, ter prek fundacije Visa Foundation podpira finančno vključenost.
Višji podatkovni inženir, podatkovno jezero (delo na daljavo iz Brazilije)
Gradite in vzdržujte cevovode Spark, Databricks in Airflow za Visino korporativno podatkovno jezero. Izboljšujte kakovost podatkov, orkestracijo in zanesljiv samopostrežni dostop do podatkov.
Opis
- Razvijajte, testirajte in vzdržujte cevovode Databricks za zajem, transformacijo in kakovost podatkov s PySpark in SparkSQL.
- Ustvarjajte in posodabljajte DAG-e MWAA Airflow za orkestracijo podatkovnih potekov.
- Pišite in optimizirajte SQL za naloge transformacije in preverjanja.
- Izvajajte in spremljajte preverjanja kakovosti podatkov z orodjem Great Expectations ali enakovrednim orodjem.
- Sodelujte pri pregledih kode med sodelavci.
- Odpravljajte napake v cevovodih in težave s kakovostjo podatkov ob podpori višjih inženirjev.
- Ustvarjajte in posodabljajte dokumentacijo za podatkovne zbirke in cevovode.
- Sodelujte pri načrtovanju sprintov, ocenjevanju in retrospektivah.
- Uporabljajte ekipne standarde CI/CD, testiranja in upravljanja.
- Pomagajte izboljšati zanesljivost in kakovost Visinega korporativnega podatkovnega jezera.
Zahteve
- Bodite locirani v Braziliji.
- Sporazumevajte se v angleščini na ravni B2 ali višji (višja srednja raven).
- Imejte vsaj 3 leta ustreznih izkušenj in diplomo dodiplomskega študija ali strokovno diplomo oziroma vsaj 5 let ustreznih izkušenj.
- Uporabljajte Python za avtomatizacijo in obdelavo podatkov.
- Razumite paketne podatkovne cevovode in vzorce ETL/ELT.
- Poznajte osnove Apache Sparka, vključno s PySparkom ali SparkSQL.
- Delajte z opravili in poteki dela Databricks, upravljanjem gruč ter optimizacijo zmogljivosti.
- Uporabljajte srednje do napredno znanje SQL, vključno s povezavami, okenskimi funkcijami in CTE-ji.
- Razumite zasnovo podatkovnih jezer v Amazonu S3, vključno s particioniranjem, razporeditvijo in upravljanjem življenjskega cikla.
- Poznajte osnovne koncepte AWS, vključno s S3, IAM in CloudWatch.
- Razumite dimenzionalno ali Kimballovo modeliranje ter arhitekture z medalinastimi plastmi.
- Uporabljajte delovne tokove Git/GitHub in sodelujte pri pregledih kode.
- Zaželeno: izkušnje z Delta Lake, Apache Airflow/MWAA, vzorci CDC, koncepti kakovosti podatkov, osnovami Terraform ali integracijo BI, kot sta Superset in izdelava nadzornih plošč.
Ugodnosti
- Možnost dela na daljavo.
- Priložnost za vpliv v velikem obsegu.
- Strokovni razvoj in rast veščin z delom, ki ima pomen.
- Zaposleni na daljavo imajo lahko vnaprej načrtovane priložnosti z vnaprejšnjim obvestilom za delo iz Visine pisarne.