A Visa globális fizetéstechnológiai vállalat, amely elektronikus fizetési hálózatán keresztül fogyasztókat, kereskedőket, pénzügyi intézményeket és kormányokat szolgál ki. Platformja a hitel-, betéti és előre fizetett tranzakciókat, valamint a fogyasztók és vállalkozások számára nyújtott fizetésfeldolgozást, csalásmegelőzést, biztonsági, elemzési és egyéb szolgáltatásokat támogatja. A Visa emellett új fizetési megoldásokat is fejleszt, többek között mesterséges intelligenciával támogatott kereskedelmi kezdeményezéseket, és a Visa Alapítványon keresztül elősegíti a pénzügyi inklúziót.
Senior adatmérnök, adattó (távoli munkavégzés Brazíliából)
Építsen és tartson karban Spark-, Databricks- és Airflow-folyamatokat a Visa vállalati adattavához. Javítsa az adatminőséget és a folyamatok összehangolását, valamint biztosítsa az adatok megbízható, önkiszolgáló elérését.
Leírás
- Fejlesszen, teszteljen és tartson karban PySpark és SparkSQL használatával Databricks-adatbetöltési, -átalakítási és adatminőség-ellenőrzési folyamatokat.
- Hozzon létre és frissítsen MWAA Airflow DAG-okat az adatfolyamatok összehangolásához.
- Írjon és optimalizáljon SQL-lekérdezéseket átalakítási és validációs feladatokhoz.
- Valósítson meg és felügyeljen adatminőség-ellenőrzéseket a Great Expectations vagy egyenértékű eszköz használatával.
- Vegyen részt a munkatársi kódellenőrzésekben.
- Hárítsa el a folyamatok hibáit és az adatminőségi problémákat senior mérnökök támogatásával.
- Hozzon létre és frissítsen dokumentációt az adatkészletekhez és a folyamatokhoz.
- Vegyen részt a sprinttervezésben, a becslésekben és a retrospektívekben.
- Alkalmazza a csapat CI/CD-, tesztelési és irányítási szabványait.
- Segítsen növelni a Visa vállalati adattavának megbízhatóságát és minőségét.
Követelmények
- Brazíliában kell tartózkodnia.
- Legalább B2-es (felső-középfokú) szintű angol nyelvtudással kommunikáljon.
- Rendelkezzen legalább 3 év releváns tapasztalattal és alap- vagy társult diplomával, vagy legalább 5 év releváns tapasztalattal.
- Használjon Pythont automatizáláshoz és adatfeldolgozáshoz.
- Értse a kötegelt adatfolyamatokat és az ETL/ELT-mintákat.
- Ismerje az Apache Spark alapjait, beleértve a PySparkot vagy a SparkSQL-t.
- Dolgozzon Databricks-feladatokkal és -munkafolyamatokkal, fürtkezeléssel és teljesítményhangolással.
- Használjon középhaladó vagy haladó szintű SQL-t, beleértve az összekapcsolásokat, az ablakfüggvényeket és a CTE-ket.
- Értse az Amazon S3 adattó-tervezését, beleértve a particionálást, az elrendezést és az életciklus-kezelést.
- Ismerje az alapvető AWS-fogalmakat, beleértve az S3-at, az IAM-et és a CloudWatchot.
- Értse a dimenzionális vagy Kimball-féle modellezést és a medallion-rétegű architektúrákat.
- Használjon Git/GitHub-munkafolyamatokat, és vegyen részt kódellenőrzésekben.
- Előnyt jelent a Delta Lake, az Apache Airflow/MWAA, a CDC-minták, az adatminőségi fogalmak, a Terraform alapjai, illetve a Supersethez és irányítópult-készítéshez hasonló BI-integráció terén szerzett tapasztalat.
Juttatások
- Távoli munkavégzési lehetőség.
- Lehetőség nagy léptékű hatás elérésére.
- Szakmai fejlődés és készségfejlesztés érdemi munkán keresztül.
- A távolról dolgozó munkatársak számára előre egyeztetett, előzetesen bejelentett lehetőségek nyílhatnak a Visa valamelyik irodájában történő munkavégzésre.