Valtech — глобальное цифровое агентство, помогающее организациям улучшать взаимодействие с клиентами и развивать цифровой бизнес. Компания объединяет технологии, маркетинг, данные и искусственный интеллект для поддержки коммерческих инициатив, цифровой трансформации предприятий и повышения эффективности маркетинга. Работая командами и офисами по всему миру, Valtech сотрудничает с компаниями в области цифровой стратегии, инноваций в сфере клиентского опыта и практического применения данных для формирования более эффективного цифрового будущего.
Ведущий инженер по данным — удалённая работа в Польше
Присоединяйтесь к Valtech в роли ведущего инженера по данным и создавайте облачные платформы данных для аналитики, машинного обучения, GenAI и промышленных продуктов на основе данных. Вы будете разрабатывать масштабируемые конвейеры, архитектуры lakehouse и надёжные сервисы данных для современных задач ИИ и аналитики.
Описание
- Проектировать, разрабатывать и оптимизировать облачные платформы данных для аналитики, ИИ и продуктов на основе данных.
- Создавать надёжные пакетные конвейеры, конвейеры потоковой обработки и конвейеры обработки данных почти в реальном времени для структурированных и неструктурированных данных.
- Разрабатывать устойчивые процессы приёма, преобразования и подготовки данных.
- Создавать lakehouse-решения и архитектуры с медальонными слоями с использованием Databricks или Microsoft Fabric.
- Формировать надёжные наборы данных для аналитики, машинного обучения, каузального анализа, оптимизации, GenAI, LLM, RAG и приложений на основе агентов.
- Создавать модели данных и автоматизировать оркестрацию рабочих процессов с помощью Airflow, dbt, Databricks Workflows, Azure Data Factory или сопоставимых инструментов.
- Использовать событийно-ориентированные и потоковые подходы, одновременно выстраивая управление данными, их происхождение, контроль качества, управление доступом и наблюдаемость.
- Отслеживать актуальность данных, устойчивость конвейеров, соблюдение SLA, масштабируемость, эффективность и эксплуатационные расходы.
- Предоставлять уровни обслуживания данных, API, входные данные для признаков и аналитические интерфейсы для последующих решений в области машинного обучения и ИИ.
- Уточнять и улучшать бизнес-потребности посредством взаимодействия с заинтересованными сторонами и обоснованных рекомендаций.
- Сотрудничать с дата-сайентистами, инженерами машинного обучения, аналитиками, платформенными командами и представителями бизнеса.
- Помогать командам внедрять продукты данных и развивать практики инженерии данных и ИИ.
Требования
- Подтверждённый практический опыт работы с Apache Spark и Delta Lake.
- Уверенное владение программированием на Python и SQL.
- Профессиональный опыт создания пакетных и потоковых конвейеров, а также готовых к эксплуатации платформ данных.
- Глубокое понимание моделирования данных, качества данных и управления данными.
- Значительный практический опыт работы либо с сервисами данных AWS и Databricks Lakehouse, либо с Microsoft Azure/Fabric и сопутствующими инструментами.
- Глубокая экспертиза в одном из облачных и платформенных направлений; знание Snowflake или GCP будет преимуществом, но не является обязательным.
- Опыт проектирования lakehouse-архитектур и работы с распределёнными системами данных.
- Хорошее понимание требований к масштабируемости, надёжности и производительности конвейеров данных.
- Развитые навыки решения задач и умение работать в команде.
- Опыт работы в Agile-среде или консалтинге будет преимуществом.
- Желателен опыт работы с GenAI и платформами данных для ИИ, CI/CD конвейеров данных, Terraform или CloudFormation, Kafka, оптимизацией Spark, задачами продвинутой аналитики или машинного обучения либо крупномасштабными продуктами данных.
- Предоставьте резюме с описанием релевантного опыта и экспертизы.
Преимущества
- 24 оплачиваемых рабочих дня ежегодного отпуска.
- Национальные праздники оплачиваются.
- Оплачиваемый больничный продолжительностью до 20 дней в год.
- Неоплачиваемый отпуск продолжительностью до 20 дней в год.
- Медицинская страховка.
- На выбор карта Multisport или Multikafeteria.
- Поддержка в период отпуска по беременности и родам, а также отпуска по уходу за ребёнком для отцов.
- Внутренние семинары и инициативы по обучению.
- Компенсация расходов на профессиональные сертификаты.
- Возможности участвовать в местных и международных профессиональных сообществах.
- Growth Framework для согласования ожиданий и планирования развития по выбранной карьерной траектории.
- Программа наставничества с возможностью развиваться в роли наставника или подопечного и продвигаться на более высокую позицию.
- Расширяющийся пакет льгот в зависимости от стажа работы.
- Гибкие возможности удалённой и гибридной работы в зависимости от доступности в конкретной стране.
- Карьерный рост благодаря международной мобильности и программам профессионального развития.
- Доступ к современным инструментам, обучению и отраслевым экспертам.
- Разумные условия адаптации на всех этапах собеседования.