Visa — глобальная технологическая компания в сфере платежей, которая обслуживает потребителей, продавцов, финансовые учреждения и государственные органы через свою электронную платежную сеть. Ее платформа поддерживает кредитные, дебетовые и предоплаченные операции, а также обработку платежей, предотвращение мошенничества, обеспечение безопасности, аналитику и другие услуги для потребителей и компаний. Visa также разрабатывает современные платежные решения, включая инициативы в области коммерции с использованием искусственного интеллекта, и содействует финансовой доступности через Visa Foundation.
Старший инженер по данным, озеро данных (удалённая работа из Бразилии)
Разрабатывайте и поддерживайте конвейеры Spark, Databricks и Airflow для корпоративного озера данных Visa. Повышайте качество данных, эффективность оркестрации и надёжность самостоятельного доступа к данным.
Описание
- Разрабатывать, тестировать и поддерживать конвейеры загрузки, преобразования и контроля качества данных в Databricks с использованием PySpark и SparkSQL.
- Создавать и обновлять DAG Apache Airflow в MWAA для оркестрации рабочих процессов с данными.
- Писать и оптимизировать SQL для задач преобразования и проверки данных.
- Внедрять и контролировать проверки качества данных с помощью Great Expectations или эквивалентного инструмента.
- Участвовать в проверке кода коллег.
- Устранять сбои конвейеров и проблемы с качеством данных при поддержке старших инженеров.
- Создавать и обновлять документацию по наборам данных и конвейерам.
- Участвовать в планировании спринтов, оценке задач и ретроспективах.
- Соблюдать стандарты команды в области CI/CD, тестирования и управления данными.
- Помогать повышать надёжность и качество корпоративного озера данных Visa.
Требования
- Находиться в Бразилии.
- Владеть английским языком на уровне B2 или выше (выше среднего).
- Иметь не менее 3 лет релевантного опыта и степень бакалавра или младшую степень либо не менее 5 лет релевантного опыта.
- Использовать Python для автоматизации и обработки данных.
- Понимать пакетные конвейеры данных и шаблоны ETL/ELT.
- Знать основы Apache Spark, включая PySpark или SparkSQL.
- Работать с заданиями и рабочими процессами Databricks, управлением кластерами и оптимизацией производительности.
- Использовать SQL среднего или продвинутого уровня, включая объединения, оконные функции и CTE.
- Понимать проектирование озёр данных Amazon S3, включая секционирование, структуру размещения и управление жизненным циклом.
- Знать основные концепции AWS, включая S3, IAM и CloudWatch.
- Понимать размерное моделирование или моделирование Kimball, а также архитектуры с медальонными слоями.
- Использовать рабочие процессы Git/GitHub и участвовать в проверке кода.
- Желательно: опыт работы с Delta Lake, Apache Airflow/MWAA, шаблонами CDC, концепциями качества данных, основами Terraform или интеграцией с BI, например Superset и созданием дашбордов.
Преимущества
- Удалённый формат работы.
- Возможность влиять на решения в большом масштабе.
- Профессиональное развитие и расширение навыков благодаря содержательной работе.
- У удалённых сотрудников могут быть запланированные возможности заранее посещать офис Visa с предварительным уведомлением.