SSC HR Solutions — консалтингова компанія повного циклу у сфері управління персоналом, заснована у 2006 році. Компанія допомагає бізнесу керувати персоналом на всіх етапах життєвого циклу працівника: від підбору та кадрового адміністрування до звільнення, пропонуючи послуги з урахуванням конкретних потреб у розвитку талантів. Працюючи в Єгипті, Об’єднаних Арабських Еміратах, Саудівській Аравії та Бахрейні, SSC HR Solutions співпрацює з організаціями у сферах консалтингу, логістики та охорони здоров’я, допомагаючи вирішувати кадрові завдання й підтримувати сталий розвиток бізнесу.
Провідний інженер з даних — Apache Spark (віддалено, Єгипет)
Керуйте розробкою та оптимізацією пакетних конвеєрів Apache Spark для масштабованого опрацювання даних. Структуруйте дані lakehouse і допомагайте підтримувати надійні аналітичні процеси.
Опис
- Розробляйте та експлуатуйте високопродуктивні пакетні конвеєри даних, зберігаючи їхню ефективність і економічність у міру зростання наборів даних.
- Створюйте та підтримуйте масштабовані робочі навантаження з опрацювання даних за допомогою Apache Spark.
- Оптимізуйте продуктивність конвеєрів для надійного й ефективного виконання.
- Беріть участь у проєктуванні моделей даних, орієнтованих на аналітику.
- Структуруйте дані lakehouse для практичного подальшого використання.
- Керуйте автоматизованим плануванням, моніторингом і перевіркою якості даних.
- Співпрацюйте з командами платформи та продукту для створення наскрізних потоків даних.
Вимоги
- Підтверджений практичний досвід роботи з Apache Spark, зокрема оптимізації продуктивності за межами використання керованого середовища notebook.
- Досвід проєктування аналітичних моделей даних і структурування даних lakehouse для подальшого використання.
- Досвід автоматизованого планування, моніторингу конвеєрів і перевірки якості даних.
- Здатність співпрацювати з командами платформи та продукту в межах наскрізних потоків даних.
- Знайомство з Apache Iceberg або порівнюваними відкритими форматами таблиць.
- Досвід роботи з Trino або подібним рушієм запитів.
- Досвід роботи з локальними або самостійно керованими кластерами.