GFT Technologies — технологическая компания, занимающаяся цифровой трансформацией и работающая в сферах консалтинга, страхования и кибербезопасности. Платформа Cookiebot помогает организациям собирать и управлять согласием пользователей, поддерживая соблюдение требований законодательства о конфиденциальности, включая GDPR и CCPA. Решения компании разработаны для интеграции с существующими цифровыми средами и используются более чем 600 000 клиентов по всему миру для более прозрачной и контролируемой работы с персональными данными.
Инженер данных Azure Databricks среднего/старшего уровня — удалённая работа в Колумбии
Проектируйте и оптимизируйте конвейеры данных Azure и Databricks, а также облачные архитектуры в GFT Technologies. Подготавливайте надёжные данные для аналитики, искусственного интеллекта и машинного обучения.
Описание
- Проектировать, создавать и оптимизировать архитектуры данных на базе Azure и Databricks
- Реализовывать процессы ETL и ELT для интеграции нескольких источников информации
- Проектировать и управлять архитектурами Data Lake и Lakehouse
- Контролировать конвейеры данных для обеспечения согласованности, качества, отслеживаемости и безопасности
- Подготавливать и оптимизировать наборы данных для расширенной аналитики, отчётности и моделей машинного обучения
- Сотрудничать с командами BI, аналитики и обработки данных для улучшения доступа к информации
- Определять и внедрять управление данными и контроль качества
- Внедрять процессы непрерывной интеграции и непрерывной поставки для решений в области данных
- Проектировать масштабируемые решения для распределённой обработки и больших объёмов данных
- Выявлять улучшения для оптимизации затрат, производительности и времени обработки
- Оценивать новые технологии и лучшие практики для развития платформы данных
Требования
- Высшее образование в области системной, промышленной, электронной, мехатронной инженерии или смежной области
- От трёх до пяти лет опыта работы инженером данных
- Продвинутое владение SQL
- Опыт работы с Python или Scala
- Опыт распределённой обработки с использованием PySpark
- Опыт работы с Azure Databricks
- Опыт работы с Azure Data Factory
- Опыт работы с Azure Data Lake Storage Gen2 (ADLS Gen2)
- Знание Delta Lake
- Опыт работы с архитектурами Lakehouse
- Знание архитектуры Medallion
- Опыт размерного моделирования
- Опыт работы с реляционными базами данных
- Опыт работы с базами данных NoSQL
- Знание принципов управления данными и качества данных
- Опыт работы с Unity Catalog
- Опыт работы с Delta Live Tables (DLT)
- Знание Great Expectations
- Опыт потоковой обработки через Event Hubs
- Опыт работы с Azure DevOps и Git
- Знание Entra ID
- Знание RBAC
- Владение Power BI
- Владение Visual Studio Code
- Опыт интеграции данных и процессов ETL/ELT
- Опыт анализа и моделирования данных
- Сертификаты Azure Data Engineering будут преимуществом
- Опыт участия в проектах по искусственному интеллекту и машинному обучению будет преимуществом
- Знание DataOps и автоматизации платформ данных будет преимуществом
Преимущества
- Гибкий график работы
- Удалённая работа
- Индивидуальный план развития карьеры
- Обучающие программы
- Работа в междисциплинарных командах
- Разнообразная международная команда
- Проекты с высокой отдачей для ведущих клиентов отрасли