Visa to globalna firma technologiczna z sektora płatności, która za pośrednictwem swojej elektronicznej sieci płatniczej obsługuje konsumentów, sprzedawców, instytucje finansowe i administrację publiczną. Jej platforma umożliwia realizację transakcji kredytowych, debetowych i przedpłaconych, a także przetwarzanie płatności, zapobieganie oszustwom, zapewnianie bezpieczeństwa, analitykę oraz inne usługi dla konsumentów i firm. Visa opracowuje również nowoczesne rozwiązania płatnicze, w tym inicjatywy związane z handlem wspieranym przez sztuczną inteligencję, oraz wspiera dostępność finansową za pośrednictwem Visa Foundation.
Starszy inżynier danych, jezioro danych (praca zdalna z Brazylii)
Twórz i utrzymuj potoki Spark, Databricks i Airflow dla korporacyjnego jeziora danych Visa. Poprawiaj jakość danych, orkiestrację oraz niezawodny samoobsługowy dostęp do danych.
Opis
- Tworzyć, testować i utrzymywać potoki pozyskiwania, transformacji i kontroli jakości danych w Databricks z użyciem PySpark i SparkSQL.
- Tworzyć i aktualizować DAG-i Airflow MWAA do orkiestracji przepływów pracy z danymi.
- Pisać i optymalizować zapytania SQL na potrzeby transformacji i walidacji.
- Wdrażać i monitorować kontrole jakości danych za pomocą Great Expectations lub równoważnego narzędzia.
- Uczestniczyć w przeglądach kodu kolegów.
- Diagnozować awarie potoków i problemy z jakością danych przy wsparciu starszych inżynierów.
- Tworzyć i aktualizować dokumentację zbiorów danych i potoków.
- Uczestniczyć w planowaniu sprintów, szacowaniu zadań i retrospektywach.
- Stosować standardy zespołu dotyczące CI/CD, testowania i zarządzania danymi.
- Pomagać wzmacniać niezawodność i jakość korporacyjnego jeziora danych Visa.
Wymagania
- Mieszkać w Brazylii.
- Posługiwać się językiem angielskim na poziomie B2 lub wyższym (upper-intermediate).
- Mieć co najmniej 3 lata odpowiedniego doświadczenia oraz tytuł licencjata lub stopień associate albo co najmniej 5 lat odpowiedniego doświadczenia.
- Używać języka Python do automatyzacji i przetwarzania danych.
- Rozumieć wsadowe potoki danych oraz wzorce ETL/ELT.
- Znać podstawy Apache Spark, w tym PySpark lub SparkSQL.
- Pracować z zadaniami i przepływami pracy Databricks, zarządzaniem klastrami oraz dostrajaniem wydajności.
- Posługiwać się SQL na poziomie średniozaawansowanym lub zaawansowanym, w tym złączeniami, funkcjami okienkowymi i CTE.
- Rozumieć projektowanie jezior danych Amazon S3, w tym partycjonowanie, układ danych i zarządzanie cyklem życia.
- Znać podstawowe koncepcje AWS, w tym S3, IAM i CloudWatch.
- Rozumieć modelowanie wymiarowe lub modelowanie Kimballa oraz architektury warstw medalionowych.
- Korzystać z procesów pracy Git/GitHub i uczestniczyć w przeglądach kodu.
- Mile widziane: doświadczenie z Delta Lake, Apache Airflow/MWAA, wzorcami CDC, koncepcjami jakości danych, podstawami Terraform lub integracją z BI, taką jak Superset i tworzenie pulpitów nawigacyjnych.
Benefity
- Praca zdalna.
- Możliwość wywierania wpływu na dużą skalę.
- Rozwój zawodowy i doskonalenie umiejętności dzięki znaczącej pracy.
- Pracownicy zdalni mogą mieć zaplanowane możliwości pracy w biurze Visa po wcześniejszym powiadomieniu.