5 001 – 10 000 Сотрудники
Спонсор визы квалифицированного работникаЗдравоохранениеКонсалтингМаркетингCI&T — глобальная технологическая компания, занимающаяся цифровой трансформацией. Основанная в 1995 году, она помогает организациям модернизировать разработку и эксплуатацию продуктов, а также взаимодействие с клиентами с помощью цифровых продуктов и сервисов. Компания предлагает модернизацию приложений, облачные решения, технологии искусственного интеллекта и аналитику данных, улучшение клиентского опыта, дизайн продуктов, стратегический консалтинг и иммерсивные технологии. Объединяя технологическую и бизнес-экспертизу, CI&T поддерживает организации из таких отраслей, как консалтинг, здравоохранение и маркетинг, в стремлении к росту и более эффективной работе.
Ведущий инженер по данным, управление данными и происхождение данных — CI&T, гибридный формат, Бразилия
Разрабатывайте конвейеры Azure Databricks и решения Lakehouse для глобальных клиентов CI&T. Развивайте возможности работы с данными для аналитики, BI и ИИ.
Описание
- Проектировать и оптимизировать масштабируемые конвейеры с помощью Azure Databricks и Azure Data Factory
- Создавать ETL/ELT-процессы от загрузки данных до их преобразования и передачи
- Внедрять Medallion Architecture и решения Data Lakehouse на уровнях Bronze, Silver и Gold
- Создавать инженерные решения для работы с данными с использованием PySpark, Spark SQL, SQL и Python
- Использовать Delta Lake для обеспечения качества, согласованности, производительности и надежности данных
- Проектировать и совершенствовать модели данных для BI и аналитики
- Подключать данные из различных систем, включая реляционные базы данных и API
- Сотрудничать с командами BI, Data Science, Engineering и бизнеса
- Соблюдать практики обеспечения качества, управления данными, контроля версий и CI/CD
- Применять инструменты генеративного ИИ и ассистенты для написания кода, повышая продуктивность и качество разработки
- Поддерживать глобальные инициативы по модернизации и трансформации в сферах облачных технологий, данных и искусственного интеллекта
Требования
- Подтвержденный опыт работы инженером по данным в продуктивных средах
- Глубокий практический опыт работы с Azure Databricks
- Продвинутые навыки PySpark и Apache Spark, включая обработку и оптимизацию данных в больших масштабах
- Продвинутое владение SQL
- Практический опыт использования Python в инженерии данных
- Опыт создания и оркестрации конвейеров с Azure Data Factory
- Знание ETL/ELT и Medallion Architecture с уровнями Bronze, Silver и Gold
- Опыт работы с Delta Lake и средами Data Lakehouse
- Знание размерного и реляционного моделирования данных
- Опыт работы с Git и процессами контроля версий, желательно с Bitbucket
- Знание CI/CD, Azure Pipelines, Azure DevOps или сопоставимых инструментов
- Опыт работы с реляционными базами данных, такими как SQL Server или Oracle
- Практичный, аналитический и ориентированный на поиск решений подход
- Способность самостоятельно исследовать проблемы и предлагать улучшения
- Эффективное сотрудничество между командами и бизнес-функциями
- Знание методологии Kimball и опыт многомерного моделирования будут преимуществом
- Опыт работы с Azure Purview или сопоставимыми решениями для управления данными и каталогизации будет преимуществом
- Опыт применения Azure DevOps к конвейерам данных будет преимуществом
- Знание Streaming, Spark Structured Streaming или Azure Event Hubs будет преимуществом
- Опыт работы с Erwin или аналогичными инструментами моделирования данных будет преимуществом
- Опыт использования GitHub Copilot, Databricks Assistant или других инструментов разработки на основе ИИ будет преимуществом
- Сертификация Azure DP-203 или Databricks будет преимуществом
Преимущества
- Медицинское и стоматологическое страхование
- Пособия на питание и продукты
- Помощь с расходами на уход за детьми
- Расширенный отпуск по уходу за ребенком
- Wellhub (Gympass), TotalPass и другие партнерские программы для спорта и здоровья
- Программа участия в прибыли и результатах (PLR)
- Страхование жизни
- Доступ к платформе непрерывного обучения CI&T University
- Членство в дисконтном клубе
- Бесплатные онлайн-ресурсы о физическом и психическом здоровье и благополучии
- Курс по беременности и ответственному родительству
- Партнерства с онлайн-платформами обучения
- Платформа изучения языков
- Поддержка и адаптация рабочего места для людей с инвалидностью
- Команда здоровья и благополучия, специалисты по инклюзии и группы по интересам
- Глобальные проекты, постоянное обучение, инновации и профессиональное развитие