EY to globalna firma świadcząca profesjonalne usługi w zakresie audytu, podatków, doradztwa konsultingowego i doradztwa biznesowego. Jej zespoły pomagają organizacjom mierzyć się ze złożonymi wyzwaniami biznesowymi, wzmacniać zaufanie do sprawozdawczości finansowej i rynków oraz wykorzystywać dane i technologie do wspierania transformacji.
Firma oferuje między innymi doradztwo w zakresie finansów przedsiębiorstw, strategii transakcyjnych i technologii. EY współpracuje z klientami z sektorów takich jak ochrona zdrowia, usługi prawne, marketing, energetyka, finanse i administracja publiczna, a zrównoważony rozwój i innowacje stanowią podstawę wielu jej rozwiązań.
Starszy inżynier danych — AI i dane | EY Chennai
EY poszukuje starszego inżyniera danych w Chennai do tworzenia skalowalnych rozwiązań AWS i Databricks dla klientów konsultingowych. Rola obejmuje potoki danych, dostarczanie CI/CD oraz infrastrukturę analityki korporacyjnej.
Opis
- Odpowiedzialność za projektowanie i zarządzanie potokami CI/CD w całym cyklu rozwoju i wdrażania rozwiązań danych
- Mapowanie i integracja danych z różnych systemów źródłowych i docelowych
- Tworzenie i optymalizacja rozwiązań Data & AI, w tym potoków inżynierii danych i modeli danych
- Pisanie produkcyjnego kodu w Pythonie, PySpark i SQL
- Realizacja wdrożeń produkcyjnych na skalę korporacyjną z wykorzystaniem praktyk DevOps
- Udział w dostarczaniu rozwiązań w metodyce Agile poprzez planowanie sprintów, przeglądy i ciągłe doskonalenie
- Stosowanie standardów zarządzania danymi i jakości danych w celu zapewnienia integralności i zgodności
Wymagania
- 5–8 lat odpowiedniego doświadczenia w pracy z rozwiązaniami Data & AI, potokami inżynierii danych, modelowaniem danych i dostrajaniem wydajności
- Rozległe doświadczenie w tworzeniu platform do pozyskiwania danych i skalowalnych potoków
- Zaawansowane doświadczenie z usługami AWS, w tym S3, EC2, Glue, Lambda i Secrets Manager
- Praktyczne doświadczenie w pracy z Databricks
- Biegłość w DBT (Data Build Tool)
- Doświadczenie w korzystaniu z Apache Airflow do orkiestracji przepływów pracy
- Bardzo dobra znajomość programowania w Pythonie, PySpark, Spark i Scala
- Doświadczenie w pracy z Git, Jenkins i Apache Subversion
- Co najmniej 3 lata doświadczenia w środowiskach bardzo dużych hurtowni danych
- Co najmniej 3 lata doświadczenia w architekturze hurtowni danych, procesach ETL/ELT oraz narzędziach do raportowania lub analityki
- Doświadczenie w tworzeniu oprogramowania w Pythonie i/lub Javie w środowiskach inżynierii danych
- Znajomość EMR, Hadoop, Databricks, Hive i PySpark
- Dobra znajomość standardów zarządzania danymi i jakości danych
- Umiejętność tworzenia wydajnych zadań Spark i dostrajania wydajności w środowiskach na dużą skalę
- Zaawansowana znajomość SQL i zapytań do danych
- Bardzo dobre umiejętności komunikacji pisemnej i ustnej
- Certyfikaty techniczne AWS, Databricks lub równoważne certyfikaty zawodowe będą dużym atutem
- Znajomość technologii chmurowych i technologii integracji korporacyjnej