GFT Technologies — технологическая компания, занимающаяся цифровой трансформацией и работающая в сферах консалтинга, страхования и кибербезопасности. Платформа Cookiebot помогает организациям собирать и управлять согласием пользователей, поддерживая соблюдение требований законодательства о конфиденциальности, включая GDPR и CCPA. Решения компании разработаны для интеграции с существующими цифровыми средами и используются более чем 600 000 клиентов по всему миру для более прозрачной и контролируемой работы с персональными данными.
Старший инженер по данным AWS | GFT Technologies | Удалённая работа в Бразилии
Старший инженер по данным AWS в GFT Technologies, занимающийся разработкой конвейеров данных, метрик и архитектуры Lakehouse. Модернизация платформ данных для аналитики, управления данными и искусственного интеллекта.
Описание
- Управлять большими объёмами данных и обрабатывать их с помощью ETL-инструментов.
- Преобразовывать бизнес-цели клиентов в стратегии управления информацией и бизнес-аналитики.
- Поддерживать надёжность конвейеров данных и безопасный доступ к информации.
- Создавать и публиковать метрики и информационные панели, обеспечивая качество и целостность данных.
- Поддерживать модернизацию платформ данных с помощью архитектуры Lakehouse, управления данными, контроля качества и подготовки к аналитике и ИИ.
- Разрабатывать многомерные модели для бизнес-команд, информационных панелей и отчётности.
- Поддерживать полный жизненный цикл данных: от приёма и обработки до хранения, преобразования, использования и управления.
Требования
- Опыт работы на уровне senior в области инженерии данных и AWS.
- Практический опыт сбора, преобразования и загрузки данных с использованием ETL-инструментов, Python и PySpark.
- Знание AWS Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM и CloudWatch.
- Знание моделирования данных NoSQL и таких баз данных, как MongoDB, DynamoDB и Hadoop.
- Понимание архитектуры Lakehouse с Apache Iceberg, включая управление таблицами, версионирование, эволюцию схемы, секционирование и настройку производительности.
- Опыт работы с высокомасштабными движками запросов, такими как Athena, Trino, Presto или Spark SQL, включая оптимизацию запросов и колоночные форматы Parquet и ORC.
- Знание концепций многомерного моделирования, включая факты, измерения, гранулярность, ключи, иерархии, метрики и показатели.
- Опыт работы со структурированными, полуструктурированными и неструктурированными данными.
- Опыт проведения модульного и нагрузочного тестирования.
- Знание практик безопасности облачных сред, контроля доступа и мониторинга.
- Сертификация AWS Practitioner или AWS Data Engineer будет преимуществом.
- Опыт работы с качеством и наблюдаемостью данных будет преимуществом.
- Опыт использования инструментов инфраструктуры как кода, таких как Terraform и CloudWatch, будет преимуществом.
- Знание Data Mesh будет преимуществом.
- Знание способов применения ИИ к данным будет преимуществом.
- Развитые аналитические способности и навыки решения проблем.
- Способность работать самостоятельно и эффективно управлять временем.
Преимущества
- Гибкая карта льгот с возможностью выбирать, как и где использовать средства.
- Поддержка обучения по программам бакалавриата, магистратуры, MBA и изучения языков.
- Программы поощрения профессиональных сертификатов.
- Гибкий график работы.
- Конкурентоспособная компенсация.
- Ежегодная оценка результатов с поддержкой структурированного плана карьерного развития.
- Возможности международного карьерного роста.
- Доступ к Wellhub и TotalPass.
- Частный пенсионный план.
- Поддержка расходов на уход за детьми.
- Медицинская страховка.
- Стоматологическое страхование и страхование жизни.
- Поля