Visa ni kampuni ya kimataifa ya teknolojia ya malipo inayowahudumia watumiaji, wafanyabiashara, taasisi za kifedha na serikali kupitia mtandao wake wa malipo ya kielektroniki. Jukwaa lake linawezesha miamala ya mkopo, benki na malipo ya mapema, pamoja na uchakataji wa malipo, kuzuia ulaghai, usalama, uchanganuzi na huduma nyingine kwa watumiaji na biashara. Visa pia hutengeneza suluhisho mpya za malipo, ikiwemo mipango ya biashara inayotumia AI, na kusaidia ujumuishaji wa kifedha kupitia Visa Foundation.
Mhandisi Mwandamizi wa Data, Data Lake (Kazi ya Mbali nchini Brazili)
Jenga na udumishe mabomba ya Spark, Databricks, na Airflow kwa data lake ya kampuni ya Visa. Boresha ubora wa data, uoratibu wa mtiririko wa kazi, na ufikiaji wa data wa kujihudumia unaotegemeka.
Maelezo
- Tengeneza, jaribu, na udumishe mabomba ya Databricks ya uingizaji, ubadilishaji, na ubora wa data kwa kutumia PySpark na SparkSQL.
- Unda na usasishe DAG za MWAA Airflow ili kuratibu mtiririko wa kazi wa data.
- Andika na boresha SQL kwa kazi za ubadilishaji na uthibitishaji.
- Tekeleza na fuatilia ukaguzi wa ubora wa data kwa kutumia Great Expectations au zana inayolingana nayo.
- Changia katika ukaguzi wa msimbo wa wenzao.
- Tafuta na kutatua kushindwa kwa mabomba na masuala ya ubora wa data kwa usaidizi wa wahandisi wakuu.
- Unda na usasishe nyaraka za seti za data na mabomba.
- Shiriki katika upangaji wa sprint, ukadiriaji, na mikutano ya retrospektiv.
- Tumia viwango vya timu vya CI/CD, majaribio, na utawala.
- Saidia kuimarisha utegemezi na ubora wa data lake ya kampuni ya Visa.
Mahitaji
- Uwe nchini Brazili.
- Wasiliana kwa Kiingereza kwa kiwango cha B2 au zaidi (Cha kati hadi cha juu).
- Uwe na angalau miaka 3 ya uzoefu unaohusiana pamoja na shahada ya Bachelor au Associate, au angalau miaka 5 ya uzoefu unaohusiana.
- Tumia Python kwa ajili ya otomatiki na uchakataji wa data.
- Elewa mabomba ya data ya kundi na mifumo ya ETL/ELT.
- Jua misingi ya Apache Spark, ikiwemo PySpark au SparkSQL.
- Fanya kazi na kazi za Databricks, mtiririko wa kazi, usimamizi wa klasta, na uboreshaji wa utendaji.
- Tumia SQL ya kiwango cha kati hadi cha juu, ikiwemo joins, window functions, na CTEs.
- Elewa muundo wa Amazon S3 data lake, ikiwemo ugawaji, mpangilio, na usimamizi wa mzunguko wa maisha.
- Jua dhana kuu za AWS, ikiwemo S3, IAM, na CloudWatch.
- Elewa uundaji wa dimensional au Kimball na usanifu wa tabaka za medallion.
- Tumia mtiririko wa kazi wa Git/GitHub na ushiriki katika ukaguzi wa msimbo.
- Inapendelewa: uzoefu wa Delta Lake, Apache Airflow/MWAA, mifumo ya CDC, dhana za ubora wa data, misingi ya Terraform, au muunganisho wa BI kama Superset na uundaji wa dashibodi.
Manufaa
- Mpangilio wa kufanya kazi kwa mbali.
- Fursa ya kuleta matokeo kwa kiwango kikubwa.
- Maendeleo ya kitaaluma na kukuza ujuzi kupitia kazi yenye maana.
- Wafanyakazi wa mbali wanaweza kupata fursa zilizopangwa na kutangazwa mapema za kufanya kazi kutoka ofisi ya Visa.