EXL — консалтингова компанія та постачальник бізнес-послуг, яка допомагає організаціям використовувати дані, аналітику й технології для підвищення ефективності операцій і ухвалення кращих рішень. Її діяльність охоплює управління операціями, аналітику для ухвалення рішень і цифрову трансформацію, а досвід компанії охоплює підтримку клієнтів у сферах охорони здоров’я, страхування, фінансів і логістики. EXL поєднує аналіз даних із практичною бізнес-експертизою, розробляючи рішення з урахуванням цілей, операційної моделі та галузевого контексту кожної організації.
Провідний інженер із даних у EXL — віддалена робота у США
Визначайте архітектуру хмарних платформ для роботи з даними петабайтного масштабу в EXL. Відповідайте за конвеєри даних, потокову обробку, оптимізацію аналітики та розвиток команди інженерів із даних.
Опис
- Визначайте архітектуру та стандарти масштабованих, надійних і захищених наскрізних конвеєрів даних
- Наставляйте інженерів, проводьте рев’ю коду та контролюйте строки постачання продуктів даних
- Перекладайте бізнесові й технічні вимоги в готові до використання рішення для роботи з даними спільно з фахівцями з аналізу даних, аналітиками та зацікавленими сторонами
- Підтримуйте фахівців із даних та інженерів машинного навчання, забезпечуючи доступ до даних, розроблення моделей і контроль якості даних
- Створюйте й оптимізуйте високопродуктивні завдання завантаження та перетворення даних за допомогою dbt Core і AWS Glue
- Створюйте та підтримуйте модульні, повторно використовувані конвеєри з оркестраторами, такими як Dagster
- Керуйте потоками даних у реальному часі через платформи Confluent або потокові сервіси AWS, такі як Kinesis
- Застосовуйте методи анонімізації даних і дотримуйтеся вимог безпеки та конфіденційності
- Впроваджуйте та підтримуйте Apache Iceberg для еволюції схем і керування даними
- Підвищуйте продуктивність запитів і контролюйте витрати в Snowflake, Amazon Redshift та AWS Athena
- Додавайте моніторинг і спостережуваність Splunk для виявлення вузьких місць і усунення проблем у робочому середовищі
Вимоги
- Щонайменше 10 років практичного досвіду з поступовим розширенням відповідальності в інженерії даних, архітектурі даних або близькій повнофункціональній ролі у сфері даних
- Глибоке розуміння принципів інженерії даних, шаблонів ETL/ELT і керування метаданими
- Підтверджений досвід створення та експлуатації інфраструктури петабайтного масштабу в хмарних середовищах
- Досвід роботи у страховій галузі бажаний, але не обов’язковий
- Досвід роботи із сервісами AWS, зокрема S3, IAM і VPC
- Досвід роботи з Talend, dbt Core, Iceberg, AWS Glue Catalog, Snowflake, Redshift, Athena, Splunk, потоковими сервісами AWS і Git
- Впевнені навички SQL, PySpark і Python
- Практичне знання основ DataOps і DevOps
Переваги
- Річний бонус
- Інформація про пільги наведена на https://www.exlservice.com/us-careers-and-benefits
- Віддалена робота / робота з дому