Imaginary Cloud е компания за разработка на софтуер и UX/UI дизайн, която работи по SaaS, B2B и по-широки проекти за разработка на софтуер. От 2010 г. екипите ѝ са проектирали, създали, пуснали и разраснали повече от 300 уеб и мобилни приложения. С офиси в Португалия и Обединеното кралство компанията съчетава разработването на продукти с ориентиран към хората подход към технологиите и насърчава работна среда, основана на уважение, грижа и непрекъснато обучение. Imaginary Cloud предлага и възможности за дистанционна работа на хора, които искат да допринасят за дигитални продукти в областта на дизайна и инженерството.
Старши инженер по данни – Databricks и PySpark
Изграждайте натоварвания за обработка на данни в Databricks и PySpark за дигиталните продукти на Imaginary Cloud. Подобрявайте аналитичните потоци от данни за глобални клиенти в хибридна роля в Португалия.
Португалия39 360 € – 60 600 € / година
ХибридноПълен работен денСтаршиЗадължителен Език: английскиИнженер по данниОписание
- Изграждайте и управлявайте натоварвания за обработка на данни в Databricks
- Разработвайте решения за инженеринг на данни с PySpark и Delta Lake
- Пишете и оптимизирайте SQL заявки, включително прозоречни функции и сложни съединения
- Създавайте потоци за стрийминг или инкрементално приемане на данни
- Прилагайте модели за идемпотентност, контролни точки и развитие на схемата
- Моделирайте данни за бизнес интелигентност и анализи
- Тествайте данни и код с проверки на потоците, dbt тестове или подобни инструменти
- Използвайте Git, преглед на код, линтери, модулни тестове и CI/CD процеси
- Използвайте агентни инструменти с изкуствен интелект за ускоряване на разработката, рефакторинга и сложното отстраняване на грешки
- Работете съвместно с инженерни екипи и екипи за разработка на продукти
- Допринасяйте за дигитални продукти за глобални клиенти в мултидисциплинарни екипи
Изисквания
- Най-малко пет години опит в инженеринг на данни или близка област
- Академично образование по компютърни науки, инженеринг на данни, наука за данните или сродна количествена област
- Практически производствен опит с Databricks
- Съществен опит в изграждането на натоварвания за данни в Databricks
- Много добро познаване на PySpark и Delta Lake
- Отлични умения за работа със SQL, включително прозоречни функции, сложни съединения и оптимизиране на заявки
- Опит със стрийминг или инкрементално приемане на данни, включително Structured Streaming или Auto Loader, както и с модели за идемпотентност, контролни точки и развитие на схемата
- Опит в моделирането на данни за BI и анализи
- Познаване на тестването и CI/CD за работни процеси в Databricks
- Познаване на основите на софтуерното инженерство и DevOps, включително Git, преглед на код, линтери, модулни тестове и CI/CD процеси
- Прилагане на тестове за качество на данните чрез проверки на потоците, dbt тестове или подобни методи
- Много добро владеене на агентни инструменти с изкуствен интелект като Cursor IDE и GitHub Copilot
- Силни аналитични умения и умения за решаване на проблеми
- Опит в сътрудничество с инженерни екипи и екипи за разработка на продукти
- Свободно владеене на английски език, устно и писмено
- Живеете в Португалия или имате готовност и законно право да живеете и работите там
Придобивки
- Заплата според опита и представянето
- Платени дни по болест
- Здравна и стоматологична застраховка
- Бюджет за комфорт
- Компания с приоритет на дистанционната работа
- Гъвкаво работно време
- Проекти с глобални клиенти, водещи в своите отрасли
- Култура, ориентирана към хората, която цени и подкрепя екипа си
- Неформална работна среда
- Екипни събития за споделяне на знания и общи празненства
- Менторство и оценки на представянето в подкрепа на кариерното развитие