Az Expleo Group globális mérnöki, technológiai és tanácsadó partner, amely szervezeteknek segít működésük átalakításában, összetett termékek fejlesztésében, valamint gyártási és minőségbiztosítási folyamataik javításában. Tevékenysége kiterjed a tanácsadásra, a védelmi iparra és a logisztikára, képességei pedig a mesterséges intelligenciát, a digitalizációt és a kiberbiztonságot is magukban foglalják. Az 1966-ban alapított Expleo több mint öt évtized tapasztalatát ötvözi 29 országban dolgozó, 18 000 szakértőből álló csapatával az innováció és a működési teljesítmény támogatása érdekében.
Adatmérnök, PySpark és Databricks
Építsen PySpark- és SQL-adatfolyamatokat Databricksben, és hozzon létre megbízható, szabályozott adatkészleteket a chennai elemző- és gépi tanulási csapatok számára.
Leírás
- Fejlesszen ETL- és ELT-adatfolyamatokat PySpark és SQL használatával nagy léptékű adatfeldolgozáshoz
- Építsen és optimalizáljon Databricks-munkafolyamatokat, többek között jegyzetfüzeteket, feladatokat és klaszterkonfigurációkat
- Dolgozzon együtt az elemző- és gépi tanulási csapatokkal tiszta, dokumentált adatkészletek szállításán
- Kövesse nyomon az adatfolyamatok teljesítményét, hárítsa el a hibákat, és tartsa fenn az adatok minőségét és integritását
- Alakítson ki adatirányítási és platformüzemeltetési bevált gyakorlatokat
- Vegyen részt tervellenőrzéseken és architekturális döntésekben
Követelmények
- Rendelkezzen 4–6 év gyakorlati tapasztalattal az adatmérnöki területen vagy kapcsolódó munkakörben
- Használja magabiztosan a PySparkot elosztott, nagy léptékű feldolgozáshoz
- Alkalmazzon haladó SQL-ismereteket, beleértve a lekérdezés-optimalizálást, az ablakfüggvényeket, a CTE-ket és az összetett összekapcsolásokat
- Rendelkezzen alapos Databricks-tapasztalattal, beleértve a Delta Lake-et és a munkafolyamatokat; a Unity Catalog ismerete előnyt jelent
- Legyen tapasztalata AWS- vagy Azure-felhőplatformokkal
- Rendelkezzen alapvető jártassággal a PySpark, SQL, Databricks, AWS, Azure, Python és Git terén
- Az Apache Kafka vagy Spark Streaming jellegű adatfolyam-eszközökkel szerzett tapasztalat előnyt jelent
- A gépi tanulási adatfolyamatok és a jellemzőmérnöki munkafolyamatok ismerete előnyt jelent