Expleo Group är en global partner inom teknik, ingenjörstjänster och konsultverksamhet som hjälper organisationer att omvandla sin verksamhet, utveckla komplexa produkter samt förbättra tillverknings- och kvalitetsprocesser. Företaget arbetar inom bland annat konsultverksamhet, försvar och logistik och har kompetens inom artificiell intelligens, digitalisering och cybersäkerhet. Expleo grundades 1966 och förenar mer än fem decenniers erfarenhet med ett team på 18 000 experter i 29 länder för att främja innovation och operativ effektivitet.
Dataingenjör, PySpark och Databricks
Bygg PySpark- och SQL-pipelines på Databricks och skapa tillförlitliga, styrda datamängder för analys- och maskininlärningsteam i Chennai.
Beskrivning
- Utveckla ETL- och ELT-pipelines med PySpark och SQL för storskalig databehandling
- Bygg och optimera Databricks-arbetsflöden, inklusive notebooks, jobb och klusterkonfigurationer
- Samarbeta med analys- och maskininlärningsteam för att leverera rena, dokumenterade datamängder
- Följ upp pipelineprestanda, lös fel och upprätthåll datakvalitet och integritet
- Etablera bästa praxis för datastyrning och plattformar
- Bidra till designgranskningar och arkitekturbeslut
Krav
- Ha 4–6 års praktisk erfarenhet av data engineering eller ett närliggande område
- Använd PySpark med god säkerhet för distribuerad behandling i stor skala
- Tillämpa avancerad SQL, inklusive frågeoptimering, fönsterfunktioner, CTE:er och komplexa kopplingar
- Ha gedigen erfarenhet av Databricks med Delta Lake och arbetsflöden; Unity Catalog är meriterande
- Ha erfarenhet av molnplattformarna AWS eller Azure
- Ha grundläggande kompetens inom PySpark, SQL, Databricks, AWS, Azure, Python och Git
- Erfarenhet av strömningsverktyg som Apache Kafka eller Spark Streaming är meriterande
- Erfarenhet av maskininlärningspipelines och arbetsflöden för feature engineering är meriterande