Quantiphi — цифровая инженерная компания, ориентированная прежде всего на искусственный интеллект, которая помогает организациям применять технологии искусственного интеллекта, работы с данными и облачных вычислений для решения сложных бизнес-задач. Основанная в 2013 году компания объединяет консалтинговую и инженерную экспертизу для создания масштабируемых ИИ-приложений, развития аналитики данных, модернизации облачной инфраструктуры и реализации индивидуальных решений. Quantiphi работает с организациями в таких секторах, как здравоохранение, финансы, образование, розничная торговля и логистика, а среди её технологических партнёров — AWS, Google Cloud и NVIDIA. Команды компании сосредоточены на превращении передовых технологий в практические решения для цифровой трансформации предприятий.
Ведущий инженер по данным, работа в офисе в Индии
Ведущий инженер по данным отвечает за конвейеры Azure, гибридные облачные архитектуры и распределённые процессы машинного обучения. Участвуйте в масштабной модернизации данных в Quantiphi.
Описание
- Помогать планировать и реализовывать потоки данных, включая расчёт ресурсов и настройку
- Поддерживать архитекторов решений в преобразовании и модернизации решений для работы с данными на базе Azure
- Разрабатывать готовый к промышленной эксплуатации код для распределённых процессов машинного обучения
- Проектировать и реализовывать конвейеры данных Azure и потоки потоковой передачи данных
- Создавать гибридные решения для работы с данными, интегрирующие локальные и облачные сервисы
- Исследовать сложные проблемы распределённых систем и создавать масштабируемые решения
- Создавать инструменты для ежедневного приёма и обработки терабайтов данных
- Сотрудничать с владельцами продуктов, аналитиками, архитекторами, инженерами платформ и облачными поставщиками
- Готовить подробные проекты, технические спецификации и планы тестирования
- Отвечать за задачи разработки, выпуск решений в промышленную эксплуатацию и поддержку после запуска
- Помогать проводить модульное, системное интеграционное и приёмочное тестирование пользователями
- Координировать тестирование и миграцию с бизнес-командами и командами поддержки
Требования
- 4–7 лет профессионального опыта
- В настоящее время отрабатывается срок уведомления об увольнении 0–15 дней
- Уверенный практический опыт работы с Spark и PySpark
- Продвинутые навыки SQL, включая оптимизацию производительности запросов
- Уверенный практический опыт работы с Python, Java или Scala
- Опыт работы с Azure, AWS или Google Cloud Platform
- Опыт работы с Azure Data Factory будет преимуществом
- Опыт работы с Databricks желателен
- Опыт работы с хранилищами данных Snowflake или Synapse
- Умение проектировать размерные модели для хранилищ и витрин данных
- Знание систем контроля версий и инструментов автоматизации сборки, включая Azure DevOps и/или MLOps
- Понимание внутреннего устройства операционных систем, файловых систем, дисковых технологий и технологий хранения данных, а также протоколов хранения данных
Преимущества
- Культура, основанная на прозрачности, многообразии, честности, обучении и развитии
- Среда, поддерживающая инновации, а также профессиональное и личное развитие