Expleo Group globalni je partner za inženjering, tehnologiju i savjetovanje koji organizacijama pomaže transformirati poslovanje, razvijati složene proizvode te unaprijediti proizvodne i upravljačke procese. Njegovo djelovanje obuhvaća savjetovanje, obranu i logistiku, uz stručnost u području umjetne inteligencije, digitalizacije i kibernetičke sigurnosti. Osnovan 1966. godine, Expleo objedinjuje više od pet desetljeća iskustva s timom od 18.000 stručnjaka koji djeluju u 29 zemalja kako bi podržali inovacije i operativnu učinkovitost.
Inženjer podataka za PySpark i Databricks
Razvijajte podatkovne pipelineove u PySparku i SQL-u na platformi Databricks. Stvarajte pouzdane i uređene skupove podataka za analitičke timove i timove za strojno učenje u Chennaiju.
Opis
- Razvijati ETL i ELT pipelineove pomoću PySparka i SQL-a za obradu velikih količina podataka
- Izrađivati i optimizirati Databricks tijekove rada, uključujući bilježnice, zadatke i konfiguracije klastera
- Surađivati s analitičkim timovima i timovima za strojno učenje na isporuci čistih i dokumentiranih skupova podataka
- Pratiti performanse pipelineova, rješavati pogreške te održavati kvalitetu i cjelovitost podataka
- Uspostavljati upravljanje podacima i najbolje prakse za platformu
- Sudjelovati u pregledima dizajna i arhitektonskim odlukama
Zahtjevi
- 4–6 godina praktičnog iskustva u podatkovnom inženjerstvu ili srodnom području
- Sigurno koristiti PySpark za distribuiranu obradu podataka velikih razmjera
- Primjenjivati napredni SQL, uključujući optimizaciju upita, prozorske funkcije, CTE-ove i složena spajanja
- Imati solidno iskustvo s Databricksom, Delta Lakeom i tijekovima rada; poznavanje Unity Cataloga je prednost
- Imati iskustvo s platformama u oblaku AWS ili Azure
- Poznavati PySpark, SQL, Databricks, AWS, Azure, Python i Git
- Iskustvo s alatima za obradu tokova podataka, kao što su Apache Kafka ili Spark Streaming, prednost je
- Poznavanje pipelineova strojnog učenja i tijekova rada za inženjerstvo značajki prednost je