Visa je globalna tehnološka tvrtka za plaćanja koja putem svoje elektroničke platne mreže opslužuje potrošače, trgovce, financijske institucije i vlade. Njezina platforma podržava kreditne, debitne i unaprijed plaćene transakcije, kao i obradu plaćanja, sprječavanje prijevara, sigurnost, analitiku i druge usluge za potrošače i poduzeća. Visa također razvija nova platna rješenja, uključujući inicijative za trgovinu uz primjenu umjetne inteligencije, te putem zaklade Visa Foundation podržava financijsku uključenost.
Viši inženjer za podatke, podatkovno jezero (rad na daljinu iz Brazila)
Izrađujte i održavajte Spark, Databricks i Airflow pipelineove za Visino korporativno podatkovno jezero. Unaprjeđujte kvalitetu podataka, orkestraciju i pouzdan samoposlužni pristup podacima.
Opis
- Razvijajte, testirajte i održavajte Databricks pipelineove za unos, transformaciju i kvalitetu podataka koristeći PySpark i SparkSQL.
- Izrađujte i ažurirajte MWAA Airflow DAG-ove za orkestraciju podatkovnih tijekova.
- Pišite i optimizirajte SQL za zadatke transformacije i validacije.
- Implementirajte i nadzirite provjere kvalitete podataka pomoću alata Great Expectations ili ekvivalentnog alata.
- Sudjelujte u međusobnim pregledima koda.
- Otklanjajte poteškoće s neuspjelim pipelineovima i kvalitetom podataka uz podršku iskusnijih inženjera.
- Izrađujte i ažurirajte dokumentaciju za skupove podataka i pipelineove.
- Sudjelujte u planiranju sprintova, procjenama i retrospektivama.
- Primjenjujte timske standarde za CI/CD, testiranje i upravljanje.
- Pomozite ojačati pouzdanost i kvalitetu Visina korporativnog podatkovnog jezera.
Zahtjevi
- Budite smješteni u Brazilu.
- Komunicirajte na engleskom jeziku na razini B2 ili višoj (viša srednja razina).
- Imajte najmanje 3 godine relevantnog iskustva uz prvostupničku ili stručnu diplomu, ili najmanje 5 godina relevantnog iskustva.
- Koristite Python za automatizaciju i obradu podataka.
- Razumijte paketne podatkovne pipelineove i ETL/ELT obrasce.
- Poznajte osnove Apache Sparka, uključujući PySpark ili SparkSQL.
- Radite s Databricks poslovima i tijekovima rada, upravljanjem klasterima i optimizacijom performansi.
- Koristite srednje napredni do napredni SQL, uključujući spajanja, prozorske funkcije i CTE-ove.
- Razumijte dizajn podatkovnih jezera u Amazonu S3, uključujući particioniranje, raspored i upravljanje životnim ciklusom.
- Poznajte osnovne koncepte AWS-a, uključujući S3, IAM i CloudWatch.
- Razumijte dimenzionalno ili Kimballovo modeliranje i arhitekture s medallion slojevima.
- Koristite Git/GitHub tijekove rada i sudjelujte u pregledima koda.
- Poželjno: iskustvo s Delta Lakeom, Apache Airflowom/MWAA-om, CDC obrascima, konceptima kvalitete podataka, osnovama Terraforma ili BI integracijom poput Superseta i izrade nadzornih ploča.
Pogodnosti
- Mogućnost rada na daljinu.
- Prilika za ostvarivanje utjecaja velikih razmjera.
- Profesionalni razvoj i rast vještina kroz smislen rad.
- Zaposlenici koji rade na daljinu mogu imati unaprijed najavljene i raspoređene prilike za rad iz Visina ureda.