
EXL — консалтинговая компания и поставщик бизнес-услуг, помогающая организациям использовать данные, аналитику и технологии для повышения эффективности операций и принятия более обоснованных решений. Компания занимается управлением операциями, аналитикой для принятия решений и цифровой трансформацией, поддерживая клиентов в сферах здравоохранения, страхования, финансов и логистики. EXL объединяет методы анализа данных с практической экспертизой в бизнесе, разрабатывая решения с учетом целей, операционной модели и отраслевого контекста каждой организации.
Ведущий инженер по данным в EXL — удалённая работа в США
Определяйте архитектуру облачных платформ обработки данных петабайтного масштаба в EXL. Отвечайте за конвейеры данных, потоковую обработку, оптимизацию аналитики и развитие команды инженеров по данным.
Описание
- Определяйте архитектуру и стандарты масштабируемых, надёжных и защищённых сквозных конвейеров данных
- Наставляйте инженеров, проводите ревью кода и контролируйте сроки поставки продуктов данных
- Преобразуйте бизнес- и технические требования в готовые к эксплуатации решения для работы с данными совместно с дата-сайентистами, аналитиками и заинтересованными сторонами
- Поддерживайте дата-сайентистов и инженеров по машинному обучению, обеспечивая доступ к данным, разработку моделей и контроль качества данных
- Создавайте и оптимизируйте высокопроизводительные задания загрузки и преобразования данных с помощью dbt Core и AWS Glue
- Создавайте и поддерживайте модульные, повторно используемые конвейеры с оркестраторами, такими как Dagster
- Управляйте потоками данных в реальном времени через платформы Confluent или потоковые сервисы AWS, такие как Kinesis
- Применяйте методы анонимизации данных и соблюдайте требования безопасности и конфиденциальности
- Внедряйте и поддерживайте Apache Iceberg для эволюции схем и управления данными
- Повышайте производительность запросов и контролируйте расходы в Snowflake, Amazon Redshift и AWS Athena
- Добавляйте мониторинг и наблюдаемость Splunk для выявления узких мест и устранения проблем в рабочей среде
Требования
- Не менее 10 лет практического опыта с последовательно растущей ответственностью в инженерии данных, архитектуре данных или близкой полнофункциональной роли в сфере данных
- Глубокое понимание принципов инженерии данных, шаблонов ETL/ELT и управления метаданными
- Подтверждённый опыт создания и эксплуатации инфраструктуры петабайтного масштаба в облачных средах
- Опыт работы в страховой отрасли желателен, но не обязателен
- Опыт работы с сервисами AWS, включая S3, IAM и VPC
- Опыт работы с Talend, dbt Core, Iceberg, AWS Glue Catalog, Snowflake, Redshift, Athena, Splunk, потоковыми сервисами AWS и Git
- Уверенные навыки SQL, PySpark и Python
- Практическое знание основ DataOps и DevOps
Преимущества
- Годовой бонус
- Информация о льготах представлена на https://www.exlservice.com/us-careers-and-benefits
- Удалённая работа / работа из дома