Imaginary Cloud — компания, занимающаяся разработкой программного обеспечения и UX/UI-дизайном в сфере SaaS, B2B и более широких проектов по разработке ПО. С 2010 года её команды спроектировали, создали, запустили и масштабировали более 300 веб- и мобильных приложений. Имея офисы в Португалии и Великобритании, компания сочетает разработку продуктов с ориентированным на человека подходом к технологиям и формирует рабочую среду, основанную на уважении, заботе и непрерывном обучении. Imaginary Cloud также предлагает возможности удалённой работы для людей, заинтересованных в создании цифровых продуктов в сфере дизайна и инженерии.
Ведущий инженер данных — Databricks и PySpark
Создавайте решения для обработки данных на Databricks и PySpark для цифровых продуктов Imaginary Cloud. Совершенствуйте аналитические конвейеры для международных клиентов в гибридном формате работы в Португалии.
Португалия39 360 € – 60 600 € / год
ГибридПолная занятостьСтарший специалистТребуемый Язык: английскийИнженер по даннымОписание
- Создавайте и управляйте решениями для обработки данных в Databricks
- Разрабатывайте инженерные решения для работы с данными на PySpark и Delta Lake
- Пишите и оптимизируйте SQL-запросы, включая оконные функции и сложные объединения таблиц
- Создавайте конвейеры потоковой или инкрементальной загрузки данных
- Применяйте идемпотентность, контрольные точки и схемы эволюции данных
- Моделируйте данные для бизнес-аналитики и анализа
- Проверяйте данные и код с помощью проверок конвейеров, тестов dbt или аналогичных инструментов
- Используйте Git, ревью кода, линтеры, модульные тесты и конвейеры CI/CD
- Используйте агентные инструменты ИИ, чтобы ускорять разработку, рефакторинг и сложную отладку
- Работайте с командами разработки и создания продуктов
- Участвуйте в создании цифровых продуктов для международных клиентов в междисциплинарных командах
Требования
- Имеете не менее пяти лет опыта в инженерии данных или смежной сфере
- Имеете академическое образование в области информатики, инженерии данных, науки о данных или смежной количественной дисциплины
- Имеете практический опыт работы с Databricks в промышленной среде
- Имеете значительный опыт создания решений для обработки данных в Databricks
- Хорошо разбираетесь в PySpark и Delta Lake
- Уверенно владеете SQL, включая оконные функции, сложные объединения таблиц и оптимизацию запросов
- Имеете опыт потоковой или инкрементальной загрузки данных, включая Structured Streaming или Auto Loader, а также применения идемпотентности, контрольных точек и схем эволюции данных
- Имеете опыт моделирования данных для BI и аналитики
- Разбираетесь в тестировании и CI/CD для рабочих процессов Databricks
- Знаете основы разработки ПО и DevOps, включая Git, ревью кода, линтеры, модульные тесты и конвейеры CI/CD
- Применяете проверки качества данных с помощью проверок конвейеров, тестов dbt или аналогичных методов
- Уверенно пользуетесь агентными инструментами ИИ, например Cursor IDE и GitHub Copilot
- Обладаете развитыми аналитическими навыками и навыками решения проблем
- Имеете опыт взаимодействия с командами разработки и создания продуктов
- Свободно владеете английским устно и письменно
- Живёте в Португалии или готовы переехать туда и имеете законное право жить и работать в стране
Преимущества
- Зарплата с учётом опыта и результатов работы
- Оплачиваемые больничные дни
- Медицинская и стоматологическая страховка
- Бюджет на комфорт
- Компания с приоритетом удалённой работы
- Гибкий график
- Проекты с ведущими международными клиентами
- Культура, ориентированная на людей и поддерживающая команду
- Неформальная рабочая атмосфера
- Командные мероприятия для обмена знаниями и совместных праздников
- Наставничество и оценка результатов для поддержки карьерного роста