Visa — глобальна технологічна компанія у сфері платежів, яка обслуговує споживачів, продавців, фінансові установи та державні органи через свою електронну платіжну мережу. Її платформа підтримує кредитні, дебетові та передплачені операції, а також обробку платежів, запобігання шахрайству, забезпечення безпеки, аналітику й інші послуги для споживачів і компаній. Visa також розробляє сучасні платіжні рішення, зокрема ініціативи у сфері комерції з використанням штучного інтелекту, і сприяє фінансовій доступності через Visa Foundation.
Старший інженер з даних, озеро даних (віддалена робота з Бразилії)
Розробляйте й підтримуйте конвеєри Spark, Databricks і Airflow для корпоративного озера даних Visa. Покращуйте якість даних, оркестрацію та надійний самообслуговуваний доступ до даних.
Опис
- Розробляти, тестувати й підтримувати конвеєри завантаження, перетворення та контролю якості даних у Databricks за допомогою PySpark і SparkSQL.
- Створювати й оновлювати DAG Apache Airflow у MWAA для оркестрації робочих процесів із даними.
- Писати й оптимізувати SQL для завдань перетворення та перевірки даних.
- Впроваджувати й контролювати перевірки якості даних за допомогою Great Expectations або еквівалентного інструмента.
- Брати участь у перевірці коду колег.
- Усувати збої конвеєрів і проблеми з якістю даних за підтримки старших інженерів.
- Створювати й оновлювати документацію щодо наборів даних і конвеєрів.
- Брати участь у плануванні спринтів, оцінюванні та ретроспективах.
- Застосовувати командні стандарти CI/CD, тестування та управління даними.
- Допомагати підвищувати надійність і якість корпоративного озера даних Visa.
Вимоги
- Перебувати в Бразилії.
- Володіти англійською мовою на рівні B2 або вище (вище середнього).
- Мати щонайменше 3 роки релевантного досвіду та ступінь бакалавра або молодшого спеціаліста або щонайменше 5 років релевантного досвіду.
- Використовувати Python для автоматизації та обробки даних.
- Розуміти пакетні конвеєри даних і шаблони ETL/ELT.
- Знати основи Apache Spark, зокрема PySpark або SparkSQL.
- Працювати із завданнями та робочими процесами Databricks, керуванням кластерами й оптимізацією продуктивності.
- Використовувати SQL середнього або просунутого рівня, зокрема об’єднання, віконні функції та CTE.
- Розуміти проєктування озер даних Amazon S3, зокрема секціонування, структуру розміщення та керування життєвим циклом.
- Знати основні концепції AWS, зокрема S3, IAM і CloudWatch.
- Розуміти розмірне моделювання або моделювання Kimball і архітектури з медальйонними шарами.
- Використовувати робочі процеси Git/GitHub і брати участь у перевірці коду.
- Бажано: досвід роботи з Delta Lake, Apache Airflow/MWAA, шаблонами CDC, концепціями якості даних, основами Terraform або інтеграцією з BI, наприклад Superset і створенням дашбордів.
Переваги
- Віддалений формат роботи.
- Можливість впливати на рішення у великому масштабі.
- Професійний розвиток і розширення навичок завдяки змістовній роботі.
- Віддалені працівники можуть мати заплановані можливості відвідувати офіс Visa з попереднім повідомленням.