Beyond Soluções — консалтинговая технологическая компания, обслуживающая финансовый рынок с помощью гибких команд разработки, технического консалтинга и услуг на базе программного обеспечения. Основанная в 2017 году, компания объединяет специализированные команды с технологическим консалтингом и решениями в сфере подбора и предоставления специалистов, включая Hunting и Outsourcing 2.0. Ее цифровой продукт для онбординга использует искусственный интеллект, чтобы помочь организациям, предоставляющим финансовые услуги, быстрее и безопаснее подключать клиентов, повышая операционную эффективность, обеспечивая соблюдение нормативных требований и сокращая сроки вывода решений на рынок.
Старший инженер по данным — удалённая работа в Бразилии
Удалённая работа для старшего инженера по данным в Monte Bravo: разработка конвейеров данных и архитектуры lakehouse. Используйте Python, PySpark, AWS и dbt для создания инновационной финансовой платформы.
Описание
- Разрабатывать приложения на Python и готовые к промышленной эксплуатации конвейеры данных
- Обрабатывать большие объёмы данных в распределённых средах с помощью PySpark
- Создавать, управлять и контролировать преобразования данных с помощью dbt
- Оркестрировать рабочие процессы обработки данных с помощью Airflow
- Использовать GitHub для контроля версий, pull request, проверки кода и интеграции CI/CD
- Работать с сервисами AWS, включая Lambda, CloudWatch, S3, Redshift и Aurora
- Внедрять и использовать Apache Iceberg
- Применять шаблоны Data Lakehouse и Medallion Architecture
- Выполнять процессы ETL и ELT
- Помогать создавать инновационную финансовую платформу с нуля без технического наследия
Требования
- Подтверждённый опыт работы с Python, включая разработку производительных и поддерживаемых приложений и конвейеров данных
- Опыт использования PySpark для обработки больших распределённых наборов данных
- Продвинутые навыки работы с SQL
- Опыт создания и контроля преобразований данных с помощью dbt
- Практические знания Airflow для оркестрации конвейеров
- Глубокий опыт работы с GitHub, включая контроль версий, pull request, проверку кода и интеграцию CI/CD
- Знание сервисов AWS, особенно Lambda, CloudWatch, S3, Redshift и Aurora
- Опыт работы с Apache Iceberg
- Понимание архитектур Data Lakehouse и Medallion Architecture
- Опыт работы с процессами ETL и ELT
- Опыт работы с Databricks будет преимуществом
- Знание Kafka будет преимуществом, особенно для разработки продюсеров и обмена сообщениями на основе событий
Преимущества
- Возможности для профессионального развития на всех этапах
- Поддерживающая и здоровая рабочая среда
- Практическая работа над проектами с ощутимым влиянием на реальный мир
- Культура, поощряющая инновации, техническую ответственность и самостоятельность
- Возможность создавать платформу с нуля без технического наследия
- Доступ к передовым инструментам, проверенным практикам и инновационным подходам