Visa je globální technologická společnost v oblasti plateb, která prostřednictvím své elektronické platební sítě obsluhuje spotřebitele, obchodníky, finanční instituce a státní správu. Její platforma podporuje kreditní, debetní a předplacené transakce a nabízí také zpracování plateb, prevenci podvodů, zabezpečení, analytiku a další služby pro spotřebitele a firmy. Visa rovněž vyvíjí moderní platební řešení, včetně iniciativ v oblasti obchodování s využitím umělé inteligence, a podporuje finanční inkluzi prostřednictvím nadace Visa Foundation.
Seniorní datový inženýr, datové jezero (práce na dálku z Brazílie)
Vyvíjejte a udržujte datové pipeline Spark, Databricks a Airflow pro korporátní datové jezero Visa. Zlepšujte kvalitu dat, orchestraci a spolehlivý samoobslužný přístup k datům.
Popis
- Vyvíjet, testovat a udržovat pipeline pro ingest, transformaci a kontrolu kvality dat v Databricks pomocí PySpark a SparkSQL.
- Vytvářet a aktualizovat DAGy Airflow v MWAA pro orchestraci datových pracovních postupů.
- Psát a optimalizovat SQL pro úlohy transformace a validace.
- Implementovat a monitorovat kontroly kvality dat pomocí Great Expectations nebo ekvivalentního nástroje.
- Podílet se na vzájemných kontrolách kódu.
- Řešit selhání pipeline a problémy s kvalitou dat s podporou seniorních inženýrů.
- Vytvářet a aktualizovat dokumentaci k datovým sadám a pipeline.
- Účastnit se plánování sprintů, odhadů a retrospektiv.
- Uplatňovat týmové standardy CI/CD, testování a správy dat.
- Pomáhat posilovat spolehlivost a kvalitu korporátního datového jezera Visa.
Požadavky
- Být v Brazílii.
- Komunikovat v angličtině na úrovni B2 nebo vyšší (vyšší středně pokročilá úroveň).
- Mít alespoň 3 roky relevantní praxe a bakalářský nebo vyšší odborný titul, případně alespoň 5 let relevantní praxe.
- Používat Python pro automatizaci a zpracování dat.
- Rozumět dávkovým datovým pipeline a vzorům ETL/ELT.
- Znát základy Apache Spark včetně PySpark nebo SparkSQL.
- Pracovat s úlohami a workflow v Databricks, správou clusterů a laděním výkonu.
- Používat SQL na středně pokročilé až pokročilé úrovni včetně spojení, okenních funkcí a CTE.
- Rozumět návrhu datových jezer Amazon S3 včetně partitioningu, uspořádání dat a správy životního cyklu.
- Znát základní koncepty AWS včetně S3, IAM a CloudWatch.
- Rozumět dimenzionálnímu modelování nebo modelování podle Kimballa a architekturám s medailonovými vrstvami.
- Používat pracovní postupy Git/GitHub a účastnit se kontrol kódu.
- Výhodou je zkušenost s Delta Lake, Apache Airflow/MWAA, vzory CDC, koncepty kvality dat, základy Terraformu nebo integrací BI, například Supersetem a tvorbou dashboardů.
Benefity
- Práce na dálku.
- Příležitost ovlivňovat výsledky ve velkém měřítku.
- Profesní rozvoj a růst dovedností díky smysluplné práci.
- Vzdálení zaměstnanci mohou mít po předchozím upozornění naplánované příležitosti pracovat z kanceláře Visa.