1 001 – 5 000 Сотрудники
БезопасностьGrupo S2 — компания, работающая в сфере безопасности. Доступная публичная информация подтверждает её отраслевую классификацию, но не содержит достаточно проверенных сведений о конкретных продуктах, услугах, командах или текущей активности по найму. Соискателям, которым нужен дополнительный контекст, следует ознакомиться с последними публичными материалами компании и опубликованными вакансиями.
Ведущий инженер по данным — Grupo S2, Бразилия (гибридный формат)
Ведущий инженер по данным разрабатывает конвейеры и интеграции в AWS для Grupo S2. Роль включает структурирование данных для аналитической инженерии с использованием Terraform, GitHub и медальонной архитектуры.
Описание
- Разрабатывать и поддерживать конвейеры загрузки данных из API, CSV, JSON, Parquet и транзакционных баз данных
- Создавать интеграции с нативными сервисами AWS, включая Glue, Lambda, S3, Kinesis, DMS, Athena и EventBridge
- Разрабатывать процессы инкрементального извлечения и полной загрузки с обеспечением идемпотентности и безопасной повторной обработки
- Отслеживать рабочие процессы загрузки и устранять сбои с помощью повторных попыток, очередей недоставленных сообщений и оповещений
- Развертывать инфраструктуру данных и управлять ею с помощью Terraform
- Контролировать управление исходным кодом, CI/CD и ревью кода в GitHub с использованием Actions, pull request и практик ветвления
- Реализовывать медальонную архитектуру на уровнях bronze, silver и gold
- Подготавливать наборы данных уровня silver для использования командами аналитической инженерии
- Согласовывать с аналитической командой контракты данных, схемы и SLA по актуальности данных
- При необходимости помогать в техническом устранении неполадок источников данных
Требования
- Практический опыт в инженерии данных, включая конвейеры загрузки и процессы ETL/ELT
- Продвинутое владение SQL
- Опыт использования Python для создания скриптов автоматизации и интеграции
- Рабочее знание сервисов AWS для работы с данными, включая S3, Glue, Lambda и Athena
- Опыт работы с Git и GitHub, включая контроль версий, pull request и ревью кода
- Знание Terraform для управления инфраструктурой как кодом
- Опыт интеграции API с аутентификацией, пагинацией и обработкой ограничений частоты запросов
- Сертификация AWS, например AWS Certified Data Engineer или AWS Certified Solutions Architect — Associate, будет преимуществом
- Опыт работы с платформами оркестрации, такими как Airflow или Step Functions, будет преимуществом
- Знание dbt будет преимуществом
- Опыт работы с архитектурами озёр данных или lakehouse будет преимуществом
- Опыт поставки продуктов данных командам BI или аналитической инженерии будет преимуществом
Преимущества
- Оплачиваемый выходной в день рождения
- Компенсация расходов на удалённую работу из дома
- Психологическая поддержка в рамках партнёрства с INMD
- Дополнительная компенсация транспортных расходов по желанию
- Ежедневная компенсация питания в размере 53,00 BRL
- Скидки на лекарства через приложение Pluxee
- Дополнительные планы Bradesco Saúde и Amil Dental с возможностью включения членов семьи
- Доступ к платформе On Happy со специальными тарифами на развлечения и путешествия
- Скидки на курсы и программы Descomplica, Ânima Educação, FGV и Open English
- Скидка 50% на товары брендов Cantão, Redley и Kenner
- Страхование жизни