Capgemini — консалтинговая и технологическая компания, помогающая организациям преобразовывать свои процессы и управлять ими. Компания работает с представителями различных отраслей, включая аэрокосмическую промышленность, автомобилестроение, банковское дело, здравоохранение и логистику. Среди её услуг — облачные технологии, кибербезопасность, работа с данными и искусственный интеллект, а также управление корпоративными системами. Capgemini также уделяет внимание инновациям и устойчивому развитию в рамках своего подхода к цифровой трансформации. Компания нанимает специалистов разных профессий и уровней опыта, уделяя особое внимание формированию инновационной и многообразной команды.
Старший инженер по данным (удалённо, Канада) в Capgemini
Создавайте масштабируемые приложения для обработки данных и ETL-конвейеры, поддерживающие цифровую трансформацию Capgemini. Оптимизируйте распределённые рабочие нагрузки для аналитики, отчётности и машинного обучения.
Описание
- Создавайте, улучшайте и поддерживайте масштабируемые приложения для обработки данных с использованием технологий Apache и SQL
- Разрабатывайте высокопроизводительные ETL-конвейеры и конвейеры преобразования данных на Python и Scala
- Создавайте и настраивайте пакетные рабочие процессы и процессы обработки данных в режиме, близком к реальному времени
- Работайте с большими наборами данных в форматах Parquet, Hive и на распределённых платформах хранения
- Создавайте эффективные SQL-запросы и улучшайте планы их выполнения для масштабируемости и производительности
- Определяйте модели данных, подходы к партиционированию и архитектуры хранения
- Сотрудничайте с инженерами по данным, разработчиками ПО, специалистами по обработке данных и продуктовыми командами
- Настраивайте автоматизированные процессы тестирования, мониторинга и развёртывания приложений для работы с данными
- Обеспечивайте качество, надёжность, безопасность и соответствие требованиям управления данными
Требования
- Степень бакалавра или магистра в области компьютерных наук, инженерии или смежной технической дисциплины
- Не менее пяти лет профессионального опыта в разработке ПО или инженерии данных
- Практический опыт работы с технологиями Apache, SQL, Python и Scala
- Опыт разработки приложений для распределённой обработки данных
- Глубокое знание инструментов экосистемы Hadoop, таких как Hive, Parquet и HDFS
- Опыт создания и настройки ETL-конвейеров для обработки данных в больших масштабах
- Продвинутые навыки разработки SQL-запросов и их оптимизации
- Практические знания систем Linux и написания shell-скриптов
- Опыт работы с системами контроля версий, такими как Git
- Желателен опыт работы с AWS, распределёнными вычислениями, архитектурой данных большого масштаба, оркестрацией Airflow и средами data lake или lakehouse
Преимущества
- От 12 до 25 дней отпуска в зависимости от грейда
- Оплачиваемые праздничные дни компании
- Дополнительные личные дни
- Оплачиваемый больничный
- Медицинское, стоматологическое страхование и страхование зрения либо координация с провинциальной системой здравоохранения в Канаде
- Программы пенсионных накоплений, например RRSP в Канаде
- Страхование жизни и нетрудоспособности
- Программы помощи сотрудникам
- Дополнительные льготы в соответствии с местной политикой и условиями участия
- Может быть доступна переменная часть вознаграждения, включая бонусы или комиссионные