Visa je globálna technologická spoločnosť v oblasti platieb, ktorá prostredníctvom svojej elektronickej platobnej siete slúži spotrebiteľom, obchodníkom, finančným inštitúciám a vládam. Jej platforma podporuje kreditné, debetné a predplatené transakcie, ako aj spracovanie platieb, prevenciu podvodov, bezpečnosť, analytiku a ďalšie služby pre spotrebiteľov a podniky. Visa tiež vyvíja nové platobné riešenia vrátane iniciatív v oblasti obchodu s využitím umelej inteligencie a prostredníctvom nadácie Visa Foundation podporuje finančnú inklúziu.
Senior dátový inžinier, dátové jazero (práca na diaľku z Brazílie)
Budujte a udržiavajte pipeline Spark, Databricks a Airflow pre podnikové dátové jazero spoločnosti Visa. Zlepšujte kvalitu údajov, orchestráciu a spoľahlivý samoobslužný prístup k údajom.
Popis
- Vyvíjajte, testujte a udržiavajte pipeline na príjem, transformáciu a kontrolu kvality údajov v Databricks pomocou PySpark a SparkSQL.
- Vytvárajte a aktualizujte DAG-y MWAA Airflow na orchestráciu dátových procesov.
- Píšte a optimalizujte SQL pre transformačné a validačné úlohy.
- Implementujte a monitorujte kontroly kvality údajov pomocou nástroja Great Expectations alebo ekvivalentného nástroja.
- Zapájajte sa do vzájomných kontrol kódu.
- Riešte zlyhania pipeline a problémy s kvalitou údajov s podporou seniorných inžinierov.
- Vytvárajte a aktualizujte dokumentáciu k datasetom a pipeline.
- Zúčastňujte sa plánovania sprintov, odhadov a retrospektív.
- Uplatňujte tímové štandardy CI/CD, testovania a riadenia.
- Pomáhajte posilňovať spoľahlivosť a kvalitu podnikového dátového jazera spoločnosti Visa.
Požiadavky
- Majte bydlisko v Brazílii.
- Komunikujte v angličtine na úrovni B2 alebo vyššej (vyššia stredne pokročilá úroveň).
- Majte aspoň 3 roky relevantných skúseností a bakalársky alebo pridružený titul, alebo aspoň 5 rokov relevantných skúseností.
- Používajte Python na automatizáciu a spracovanie údajov.
- Rozumejte dávkovým dátovým pipeline a vzorom ETL/ELT.
- Poznajte základy Apache Spark vrátane PySpark alebo SparkSQL.
- Pracujte s úlohami a pracovnými postupmi Databricks, správou klastrov a optimalizáciou výkonu.
- Používajte stredne pokročilé až pokročilé SQL vrátane spojení, okenných funkcií a CTE.
- Rozumejte návrhu dátových jazier v Amazon S3 vrátane particionovania, rozloženia a správy životného cyklu.
- Poznajte základné koncepty AWS vrátane S3, IAM a CloudWatch.
- Rozumejte dimenzionálnemu alebo Kimballovmu modelovaniu a architektúram s medailónovými vrstvami.
- Používajte pracovné postupy Git/GitHub a zúčastňujte sa kontrol kódu.
- Výhodou sú skúsenosti s Delta Lake, Apache Airflow/MWAA, vzormi CDC, konceptmi kvality údajov, základmi Terraformu alebo integráciou BI, napríklad Supersetom a tvorbou dashboardov.
Benefity
- Práca na diaľku.
- Príležitosť ovplyvňovať riešenia vo veľkom meradle.
- Profesionálny rozvoj a rast zručností prostredníctvom zmysluplnej práce.
- Zamestnanci pracujúci na diaľku môžu mať po predchádzajúcom oznámení naplánované príležitosti pracovať z kancelárie spoločnosti Visa.