Visa on maailmanlaajuinen maksuteknologiayritys, joka palvelee kuluttajia, kauppiaita, rahoituslaitoksia ja viranomaisia sähköiseen maksamiseen perustuvan verkostonsa kautta. Sen alusta tukee luotto-, pankki- ja prepaid-maksuja sekä maksujen käsittelyä, petosten ehkäisyä, turvallisuutta, analytiikkaa ja muita kuluttajille ja yrityksille suunnattuja palveluja. Visa kehittää myös uusia maksuratkaisuja, kuten tekoälyä hyödyntäviä kaupankäynnin ratkaisuja, ja edistää taloudellista osallisuutta Visa Foundationin kautta.
Senior-tason data-insinööri, datajärvi (etätyö Brasiliassa)
Rakenna ja ylläpidä Spark-, Databricks- ja Airflow-putkia Visan yritystason datajärveä varten. Paranna datan laatua ja työnkulkujen orkestrointia sekä varmista luotettava itsepalvelupääsy dataan.
Kuvaus
- Kehitä, testaa ja ylläpidä Databricksin tiedon sisäänluku-, muunnos- ja datan laatuprosesseja PySparkilla ja SparkSQL:llä.
- Luo ja päivitä MWAA Airflow -DAG:eja datatyönkulkujen orkestrointia varten.
- Kirjoita ja optimoi SQL-kyselyitä muunnos- ja validointitehtäviin.
- Toteuta ja valvo datan laatutarkistuksia Great Expectationsilla tai vastaavalla työkalulla.
- Osallistu vertaiskoodikatselmointeihin.
- Selvitä putkien häiriöitä ja datan laatuongelmia senior-insinöörien tuella.
- Luo ja päivitä datasetien ja putkien dokumentaatiota.
- Osallistu sprinttien suunnitteluun, arviointiin ja retrospektiiveihin.
- Noudata tiimin CI/CD-, testaus- ja hallintastandardeja.
- Auta vahvistamaan Visan yritystason datajärven luotettavuutta ja laatua.
Vaatimukset
- Asu Brasiliassa.
- Viestit englanniksi vähintään B2-tasolla (ylempi keskitaso).
- Sinulla on vähintään 3 vuotta soveltuvaa kokemusta ja kandidaatin tai associate-tason tutkinto, tai vähintään 5 vuotta soveltuvaa kokemusta.
- Käytät Pythonia automaatioon ja datan käsittelyyn.
- Ymmärrät eräajona toimivia datan käsittelyputkia sekä ETL/ELT-malleja.
- Tunnet Apache Sparkin perusteet, mukaan lukien PySparkin tai SparkSQL:n.
- Työskentelet Databricks-töiden, työnkulkujen ja klusterien hallinnan sekä suorituskyvyn optimoinnin parissa.
- Käytät keskitason tai edistyneen tason SQL:ää, mukaan lukien liitokset, ikkunafunktiot ja CTE:t.
- Ymmärrät Amazon S3 -datajärvien suunnittelua, mukaan lukien osioinnin, rakenteen ja elinkaaren hallinnan.
- Tunnet AWS:n keskeiset käsitteet, kuten S3:n, IAM:n ja CloudWatchin.
- Ymmärrät dimensio- tai Kimball-mallinnusta sekä medallion-kerrosarkkitehtuureja.
- Käytät Git/GitHub-työnkulkuja ja osallistut koodikatselmointeihin.
- Eduksi katsotaan kokemus Delta Lakesta, Apache Airflow’sta/MWAA:sta, CDC-malleista, datan laatua koskevista käsitteistä, Terraformin perusteista tai BI-integraatiosta, kuten Supersetistä ja koontinäytöistä.
Edut
- Etätyöjärjestely.
- Mahdollisuus saada aikaan vaikuttavia tuloksia suuressa mittakaavassa.
- Ammatillinen kehittyminen ja osaamisen kasvattaminen merkityksellisen työn kautta.
- Etätyöntekijöillä voi olla ennalta sovittuja ja etukäteen ilmoitettuja mahdollisuuksia työskennellä Visan toimistolla.