Sigma Software Group е мултинационална технологична консултантска компания, основана през 2002 г. Нейните екипи предоставят разработка на софтуер, графичен дизайн, тестване и техническа поддръжка на клиенти в сектори, сред които автомобилна индустрия, здравеопазване, телекомуникации, авиация, банково дело, игрална индустрия, недвижими имоти и реклама. Компанията наема IT специалисти за работа по сложни инженерни проекти и подкрепя професионалното развитие чрез менторство и непрекъснато обучение. Възможностите за дистанционна работа са част от нейния работен модел, а проектите обслужват организации като AstraZeneca, Scania и SAS.
Инженер по данни (Azure, Spark) — дистанционна работа в Украйна
Изграждайте мащабируеми платформи и потоци от данни в Azure за анализи, отчети и решения, основани на данни. Разработвайте работни потоци със Spark и надеждна обработка на данни в сътрудничество с няколко екипа.
Описание
- Изграждайте мащабируеми и надеждни платформи и потоци от данни за аналитични и оперативни нужди.
- Създавайте работни потоци за обработка на данни с разпределени рамки като Apache Spark и PySpark в Databricks.
- Помагайте за развитието на облачната платформа за данни с услугите на Azure, включително Data Factory, Synapse, Microsoft Fabric, Databricks, Event Hub и Azure Data Lake Storage.
- Интегрирайте и обработвайте вътрешни и външни данни, като поддържате тяхната съгласуваност, качество и надеждност.
- Отговаряйте за надеждността, наблюдението и производителността на потоците от данни.
- Работете с анализатори, специалисти по данни и инженери, за да превръщате бизнес и аналитичните нужди в устойчиви решения за данни.
- Подобрявайте практиките в инженерството на данни, включително стандартите за потоци, тестването и оперативната надеждност.
- Оценявайте инструменти и технологии за средата за инженерство на данни и помагайте за внедряването им.
Изисквания
- Поне четири години практически опит в инженерството на данни или изграждането на платформи за обработка на данни.
- Уверено използване на SQL и солиден опит с Python за разработване и поддръжка на потоци от данни.
- Опит с разпределени рамки за обработка като Apache Spark или PySpark; опитът с Databricks е сериозно предимство.
- Практически опит в проектирането и внедряването на облачни потоци от данни, за предпочитане в Azure.
- Опит в проектирането на потоци и модели на данни за аналитични системи в продукционен мащаб.
- Познаване на проектирането на ETL/ELT процеси, измервателното моделиране и принципите на хранилищата за данни.
- Опит със съвременни архитектури на езера от данни и формати като Parquet и JSON.
- Опит с инструменти за оркестрация на работни потоци като Airflow.
- Опит с разработването на бази данни и оптимизацията на производителността.
- Умение за проектиране на мащабируеми и лесни за поддръжка решения за данни с минимален надзор.
- Ефективна комуникация и сътрудничество.
- Професионално владеене на английски език.
- Опит с облачни хранилища за данни като Snowflake, BigQuery или Redshift.
- Опит с технологии за поточно предаване на данни като Event Hub, Kafka или Spark Streaming.
- Опит с Delta Lake или други lakehouse технологии.
- Познаване на практиките за CI/CD и работните процеси за разработка, базирани на Git.
- Опит в работа в гъвкави среди за разработка.
Придобивки
- Дистанционна работа.