
EY — міжнародна компанія, що надає професійні послуги у сферах аудиту, оподаткування, консалтингу та дорадчої діяльності. Її команди допомагають організаціям розв’язувати складні бізнес-завдання, зміцнювати довіру до фінансової звітності й ринків, а також використовувати дані та технології для підтримки трансформації.
Компанія надає послуги з консультування щодо корпоративних фінансів, стратегії угод і технологічного консалтингу. EY працює з клієнтами у сферах охорони здоров’я, юридичних послуг, маркетингу, енергетики, фінансів і державного управління, а сталий розвиток та інновації є основою багатьох її рішень.
Старший інженер з даних — AI і дані | EY Ченнаї
EY шукає старшого інженера з даних у Ченнаї для створення масштабованих рішень на базі AWS і Databricks для консалтингових клієнтів. Роль передбачає роботу з конвеєрами даних, поставкою CI/CD та інфраструктурою корпоративної аналітики.
Опис
- Відповідати за проєктування та керування CI/CD-конвеєрами на всіх етапах розробки й розгортання рішень для роботи з даними
- Зіставляти та інтегрувати дані з різних вихідних і цільових систем
- Створювати й оптимізувати рішення у сфері даних та ШІ, зокрема інженерні конвеєри й моделі даних
- Писати виробничий код на Python, PySpark і SQL
- Виконувати розгортання виробничого рівня корпоративного масштабу із застосуванням практик DevOps
- Брати участь в Agile-розробці: плануванні спринтів, оглядах і безперервному вдосконаленні
- Застосовувати стандарти управління даними та якості даних для забезпечення цілісності й відповідності вимогам
Вимоги
- 5–8 років релевантного досвіду роботи з рішеннями у сфері даних та ШІ, інженерними конвеєрами, моделюванням даних і налаштуванням продуктивності
- Ґрунтовний досвід розробки фреймворків приймання даних і масштабованих конвеєрів
- Поглиблений досвід роботи із сервісами AWS, зокрема S3, EC2, Glue, Lambda та Secrets Manager
- Практичний досвід роботи з Databricks
- Володіння DBT (Data Build Tool)
- Досвід використання Apache Airflow для оркестрації робочих процесів
- Високий рівень програмування на Python, PySpark, Spark і Scala
- Досвід роботи з Git, Jenkins і Apache Subversion
- Щонайменше 3 роки досвіду роботи в середовищах дуже великих сховищ даних
- Щонайменше 3 роки досвіду роботи з архітектурою сховищ даних, процесами ETL/ELT та інструментами звітності або аналітики
- Досвід розробки на Python та/або Java у середовищах інженерії даних
- Знання EMR, Hadoop, Databricks, Hive і PySpark
- Глибоке розуміння стандартів управління даними та якості даних
- Здатність розробляти ефективні завдання Spark і налаштовувати продуктивність у середовищах великого масштабу
- Поглиблені знання SQL і запитів до даних
- Відмінні навички письмової та усної комунікації
- Професійні технічні сертифікації AWS, Databricks або еквівалентні сертифікації будуть великою перевагою
- Знання хмарних технологій і технологій корпоративної інтеграції