GFT Technologies е технологична компания за дигитална трансформация, която работи в областта на консултирането, застраховането и киберсигурността. Нейната платформа Cookiebot помага на организациите да събират и управляват съгласието на потребителите, като същевременно подпомага спазването на разпоредбите за защита на личните данни, включително GDPR и CCPA. Решенията на компанията са разработени така, че да се интегрират със съществуващите цифрови среди, и се използват от над 600 000 клиенти по света за по-прозрачно и контролирано управление на личните данни.
Mid/Senior инженер по данни за Azure Databricks – дистанционна работа от Колумбия
Проектирайте и оптимизирайте потоци от данни и облачни архитектури в Azure и Databricks в GFT Technologies. Подготвяйте надеждни данни за анализи, изкуствен интелект и машинно обучение.
Описание
- Проектирайте, изграждайте и оптимизирайте архитектури за данни, базирани на Azure и Databricks
- Внедрявайте ETL и ELT процеси за интегриране на множество източници на информация
- Проектирайте и управлявайте архитектури Data Lake и Lakehouse
- Наблюдавайте потоците от данни, за да гарантирате последователност, качество, проследимост и сигурност
- Подготвяйте и оптимизирайте набори от данни за разширени анализи, справки и модели за машинно обучение
- Работете с екипи по BI, анализи и наука за данните за подобряване на достъпа до информация
- Определяйте и внедрявайте управление на данните и контроли на качеството
- Внедрявайте процеси за непрекъсната интеграция и непрекъснато внедряване на решения за данни
- Проектирайте мащабируеми решения за разпределена обработка и големи обеми данни
- Идентифицирайте подобрения за оптимизиране на разходите, производителността и времето за обработка
- Оценявайте нови технологии и добри практики за развитие на платформата за данни
Изисквания
- Диплома по системно инженерство, индустриално инженерство, електронно инженерство, мехатроника или сродна област
- Три до пет години опит като инженер по данни
- Напреднали умения по SQL
- Опит с Python или Scala
- Опит с разпределена обработка чрез PySpark
- Опит с Azure Databricks
- Опит с Azure Data Factory
- Опит с Azure Data Lake Storage Gen2 (ADLS Gen2)
- Познания по Delta Lake
- Опит с Lakehouse архитектури
- Познания по медалионната архитектура
- Опит с размерно моделиране
- Опит с релационни бази данни
- Опит с NoSQL бази данни
- Познания по управление и качество на данните
- Опит с Unity Catalog
- Опит с Delta Live Tables (DLT)
- Познания по Great Expectations
- Опит с поточна обработка чрез Event Hubs
- Опит с Azure DevOps и Git
- Познания по Entra ID
- Познания по RBAC
- Умения с Power BI
- Умения с Visual Studio Code
- Опит с интеграция на данни и ETL/ELT процеси
- Опит в анализа и моделирането на данни
- Сертификатите за Azure Data Engineering са предимство
- Опитът с проекти за изкуствен интелект и машинно обучение е предимство
- Познанията по DataOps и автоматизация на платформите за данни са предимство
Придобивки
- Гъвкаво работно време
- Дистанционна работа
- Индивидуален план за кариерно развитие
- Обучителни програми
- Работа в мултидисциплинарни екипи
- Разнообразен глобален екип
- Проекти с голямо въздействие с водещи клиенти от индустрията