Expleo Group е глобален партньор в областта на инженерните услуги, технологиите и консултирането, който помага на организациите да трансформират операциите си, да разработват сложни продукти и да подобряват производствените и качествените процеси. Дейността му обхваща консултиране, отбраната и логистиката, с компетенции в областта на изкуствения интелект, дигитализацията и киберсигурността. Основана през 1966 г., Expleo съчетава повече от пет десетилетия опит с екип от 18 000 експерти, работещи в 29 държави в подкрепа на иновациите и оперативната ефективност.
Инженер данни с PySpark и Databricks
Изграждайте потоци за обработка на данни с PySpark и SQL в Databricks. Създавайте надеждни и управлявани набори от данни за аналитични екипи и екипи по машинно обучение в Ченай.
Описание
- Разработване на ETL и ELT потоци с PySpark и SQL за обработка на големи обеми данни
- Изграждане и оптимизиране на работни процеси в Databricks, включително бележници, задачи и конфигурации на клъстери
- Работа с аналитични екипи и екипи по машинно обучение за предоставяне на чисти и документирани набори от данни
- Проследяване на производителността на потоците, отстраняване на проблеми и поддържане на качеството и целостта на данните
- Установяване на управление на данните и добри практики за платформата
- Участие в прегледи на дизайна и архитектурни решения
Изисквания
- 4–6 години практически опит в инженерството на данни или сродна област
- Уверено използване на PySpark за мащабна разпределена обработка на данни
- Прилагане на напреднал SQL, включително оптимизация на заявки, прозоречни функции, CTE и сложни съединения
- Солиден опит с Databricks, Delta Lake и работни процеси; Unity Catalog е предимство
- Опит с облачни платформи AWS или Azure
- Познания по PySpark, SQL, Databricks, AWS, Azure, Python и Git
- Опит с инструменти за поточна обработка, като Apache Kafka или Spark Streaming, е предимство
- Познаването на потоци за машинно обучение и работни процеси за инженеринг на характеристики е предимство