Expleo Group
Expleo Group
Expleo Group este un partener global în domeniile ingineriei, tehnologiei și consultanței, care ajută organizațiile să își transforme operațiunile, să dezvolte produse complexe și să își îmbunătățească procesele de producție și calitate. Activitatea sa acoperă consultanța, apărarea și logistica, cu expertiză în inteligență artificială, digitalizare și securitate cibernetică. Fondată în 1966, Expleo îmbină peste cinci decenii de experiență cu o echipă de 18.000 de experți care lucrează în 29 de țări pentru a susține inovația și performanța operațională.

Data Engineer, PySpark and Databricks

Build PySpark and SQL pipelines on Databricks, creating reliable, governed datasets for analytics and machine learning teams in Chennai.

Descriere

  • Develop ETL and ELT pipelines with PySpark and SQL for large-scale data processing
  • Build and optimise Databricks workflows, including notebooks, jobs, and cluster configurations
  • Work with analytics and machine learning teams to deliver clean, documented datasets
  • Track pipeline performance, resolve failures, and maintain data quality and integrity
  • Establish data governance and platform best practices
  • Contribute to design reviews and architectural decisions

Cerințe

  • Bring 4–6 years of practical experience in data engineering or a related field
  • Use PySpark confidently for distributed processing at scale
  • Apply advanced SQL, including query optimisation, window functions, CTEs, and complex joins
  • Have solid Databricks experience with Delta Lake and workflows; Unity Catalog is preferred
  • Have experience with AWS or Azure cloud platforms
  • Have core skills in PySpark, SQL, Databricks, AWS, Azure, Python, and Git
  • Experience with streaming tools such as Apache Kafka or Spark Streaming is an advantage
  • Exposure to machine learning pipelines and feature engineering workflows is an advantage

Locuri de muncă similare

Ohio State University Physicians

Remote Financial Clearance Representative L3 (Financial Counselor)

Ohio State University Physicians

Verify patient coverage, eligibility, and financial responsibility as a financial counselor with Ohio State University Physicians. Help uninsured patients access financial assistance and coordinate clearance for scheduling.

Deschide