Leega — латиноамериканская технологическая консалтинговая компания, специализирующаяся на аналитике данных, облачных решениях и цифровой трансформации. В число её услуг входят разработка приложений, машинное обучение, аналитика управления рисками и поддержка организаций, модернизирующих свои среды данных. Leega сотрудничает с Google Cloud, AWS и Microsoft Azure, помогая компаниям улучшать управление данными и внедрять облачные технологии. Компания также позиционирует себя как первую в регионе организацию, сертифицированную Google Cloud в области аналитики данных.
Инженер по данным GCP среднего уровня в Leega (удалённо)
Присоединяйтесь к Leega в качестве инженера по данным GCP и создавайте масштабируемые конвейеры и современные платформы данных. Работайте с Databricks, Spark, ETL/ELT и архитектурами Lakehouse.
Описание
- Создавать и поддерживать масштабируемые конвейеры данных ETL/ELT
- Управлять приёмом, преобразованием и доставкой данных в средах GCP
- Разрабатывать решения Databricks с использованием Spark и PySpark
- Проектировать и совершенствовать архитектуры Data Lake, Data Warehouse и Lakehouse
- Подключать API, базы данных, потоковые платформы и другие источники данных
- Обеспечивать качество данных, управление данными и надёжность платформы
- Отслеживать производительность и снижать затраты на облачную инфраструктуру
- Сотрудничать с командами BI, аналитики и Data Science
Требования
- Не менее четырёх лет профессионального опыта в инженерии данных
- Практический опыт работы с сервисами Google Cloud, такими как BigQuery, Cloud Storage или Dataflow
- Опыт использования Databricks и Spark для распределённой обработки данных
- Уверенные навыки Python и SQL
- Опыт работы с реляционным и многомерным моделированием данных
- Опыт оркестрации конвейеров с помощью Airflow или сопоставимых инструментов
- Рабочее знание Git и практик контроля версий
- Опыт работы с Delta Lake
- Знание Terraform для управления инфраструктурой как кодом
- Опыт использования Docker
- Знание потоковых технологий, таких как Kafka или Pub/Sub
- Сертификат GCP или Databricks
- Опыт проектирования архитектур Lakehouse
- Знакомство с BI-платформами, включая Power BI, Looker или Tableau
- Понимание принципов управления данными и бразильского Общего закона о защите данных (LGPD)
- Английский язык на среднем или продвинутом уровне
Преимущества
- Возможности для дальнейшего профессионального развития
- Полностью удалённая работа
- Приглашаются кандидаты с инвалидностью