Visa е глобална технологична компания за разплащания, която обслужва потребители, търговци, финансови институции и правителства чрез своята електронна платежна мрежа. Нейната платформа поддържа кредитни, дебитни и предплатени транзакции, както и обработка на плащания, предотвратяване на измами, сигурност, анализи и други услуги за потребители и предприятия. Visa разработва и нови платежни решения, включително инициативи за търговия с използване на изкуствен интелект, и подкрепя финансовото приобщаване чрез фондация Visa Foundation.
Старши инженер по данни, езеро от данни (дистанционно от Бразилия)
Изграждайте и поддържайте Spark, Databricks и Airflow процеси за корпоративното езеро от данни на Visa. Подобрявайте качеството на данните, оркестрацията и надеждния самообслужващ достъп до данни.
Описание
- Разработвайте, тествайте и поддържайте Databricks процеси за приемане, трансформиране и проверка на качеството на данните с PySpark и SparkSQL.
- Създавайте и актуализирайте DAG-ове в MWAA Airflow за оркестрация на работните потоци с данни.
- Пишете и оптимизирайте SQL за задачи по трансформиране и валидиране.
- Внедрявайте и наблюдавайте проверки на качеството на данните с Great Expectations или еквивалентен инструмент.
- Участвайте в партньорски прегледи на кода.
- Отстранявайте неизправности в процесите и проблеми с качеството на данните с подкрепата на старши инженери.
- Създавайте и актуализирайте документация за набори от данни и процеси.
- Участвайте в планиране на спринтове, оценяване и ретроспективи.
- Прилагайте стандартите на екипа за CI/CD, тестване и управление.
- Помагайте за повишаване на надеждността и качеството на корпоративното езеро от данни на Visa.
Изисквания
- Бъдете базирани в Бразилия.
- Комуникирайте на английски език на ниво B2 или по-високо (горно средно ниво).
- Имайте поне 3 години релевантен опит и бакалавърска или асоциирана степен, или поне 5 години релевантен опит.
- Използвайте Python за автоматизация и обработка на данни.
- Разбирайте пакетните процеси за данни и моделите ETL/ELT.
- Познавайте основите на Apache Spark, включително PySpark или SparkSQL.
- Работете със задачи и работни потоци в Databricks, управление на клъстери и настройка на производителността.
- Използвайте SQL на средно до напреднало ниво, включително съединения, прозоречни функции и CTE.
- Разбирайте проектирането на езера от данни в Amazon S3, включително партициониране, структура и управление на жизнения цикъл.
- Познавайте основните концепции на AWS, включително S3, IAM и CloudWatch.
- Разбирайте размерното или Kimball моделирането и архитектурите с медальонни слоеве.
- Използвайте работни процеси с Git/GitHub и участвайте в прегледи на кода.
- За предпочитане: опит с Delta Lake, Apache Airflow/MWAA, CDC модели, концепции за качество на данните, основи на Terraform или BI интеграция като Superset и създаване на табла.
Придобивки
- Възможност за дистанционна работа.
- Възможност да оказвате влияние в голям мащаб.
- Професионално развитие и усъвършенстване на уменията чрез значима работа.
- Служителите, работещи дистанционно, могат да имат предварително планирани възможности с предварително уведомяване за работа от офис на Visa.