Beyond Soluções — технологічна консалтингова компанія, що обслуговує фінансовий ринок за допомогою гнучких команд розробки, технічного консалтингу та послуг на основі програмного забезпечення. Заснована у 2017 році, компанія поєднує спеціалізовані команди з технологічним консалтингом і рішеннями у сфері підбору та надання фахівців, зокрема Hunting і Outsourcing 2.0. Її цифровий продукт для онбордингу використовує штучний інтелект, щоб допомогти організаціям, які надають фінансові послуги, швидше й безпечніше залучати клієнтів, підвищуючи операційну ефективність, забезпечуючи дотримання нормативних вимог і скорочуючи час виходу рішень на ринок.
Старший інженер з даних — віддалена робота в Бразилії
Віддалена посада старшого інженера з даних у Monte Bravo: створення конвеєрів даних і lakehouse-архітектури. Працюйте з Python, PySpark, AWS і dbt, розробляючи інноваційну фінансову платформу.
Опис
- Розробляти застосунки на Python і готові до промислової експлуатації конвеєри даних
- Обробляти великі обсяги даних у розподілених середовищах за допомогою PySpark
- Створювати, керувати й контролювати перетворення даних за допомогою dbt
- Оркеструвати робочі процеси обробки даних за допомогою Airflow
- Використовувати GitHub для контролю версій, pull request, перевірки коду та інтеграції CI/CD
- Працювати із сервісами AWS, зокрема Lambda, CloudWatch, S3, Redshift і Aurora
- Впроваджувати та використовувати Apache Iceberg
- Застосовувати шаблони Data Lakehouse і Medallion Architecture
- Виконувати процеси ETL і ELT
- Допомагати створювати інноваційну фінансову платформу з нуля без технічної спадщини
Вимоги
- Підтверджений досвід роботи з Python, зокрема розробки продуктивних і підтримуваних застосунків та конвеєрів даних
- Досвід використання PySpark для обробки великих розподілених наборів даних
- Високий рівень володіння SQL
- Досвід створення та контролю перетворень даних за допомогою dbt
- Практичні знання Airflow для оркестрації конвеєрів
- Ґрунтовний досвід роботи з GitHub, включно з контролем версій, pull request, перевіркою коду та інтеграцією CI/CD
- Знання сервісів AWS, особливо Lambda, CloudWatch, S3, Redshift і Aurora
- Досвід роботи з Apache Iceberg
- Розуміння архітектур Data Lakehouse і Medallion Architecture
- Досвід роботи з процесами ETL і ELT
- Досвід роботи з Databricks буде перевагою
- Знання Kafka буде перевагою, особливо для розробки продюсерів і обміну повідомленнями на основі подій
Переваги
- Можливості для професійного розвитку на всіх етапах
- Підтримувальне та здорове робоче середовище
- Практична робота над проєктами з відчутним впливом на реальний світ
- Культура, що заохочує інновації, технічну відповідальність і самостійність
- Можливість створювати платформу з нуля без технічної спадщини
- Доступ до провідних інструментів, перевірених практик та інноваційних підходів