Valtech — глобальное цифровое агентство, помогающее организациям улучшать взаимодействие с клиентами и развивать цифровой бизнес. Компания объединяет технологии, маркетинг, данные и искусственный интеллект для поддержки коммерческих инициатив, цифровой трансформации предприятий и повышения эффективности маркетинга. Работая командами и офисами по всему миру, Valtech сотрудничает с компаниями в области цифровой стратегии, инноваций в сфере клиентского опыта и практического применения данных для формирования более эффективного цифрового будущего.
Ведущий инженер по данным — удалённая работа в Португалии
Ведущий инженер по данным в Valtech, разрабатывающий облачные платформы данных для аналитики, ИИ и промышленных продуктов на основе данных. Роль включает масштабируемые конвейеры, архитектуру lakehouse, генеративный ИИ и системы машинного обучения.
Описание
- Проектировать, разрабатывать и совершенствовать облачные платформы данных для аналитики, ИИ и продуктов на основе данных
- Создавать надёжные пакетные, потоковые и почти работающие в реальном времени конвейеры для структурированной и неструктурированной информации
- Разрабатывать процессы приёма, преобразования, подготовки и предоставления данных
- Реализовывать архитектуры lakehouse и медальонную архитектуру с использованием Databricks или Fabric
- Создавать подготовленные наборы данных для аналитики, машинного обучения, причинно-следственного моделирования, оптимизации, генеративного ИИ, RAG и приложений на основе агентов
- Применять MLflow, Unity Catalog, Azure ML и сопоставимые платформенные инструменты для поддержки промышленных систем ИИ
- Создавать модели данных и координировать рабочие процессы с Airflow, dbt, Databricks Workflows, Azure Data Factory или сопоставимыми инструментами
- Формировать практики управления данными, отслеживания происхождения, контроля качества, управления доступом и наблюдаемости
- Отслеживать актуальность данных, надёжность конвейеров, выполнение SLA, масштабируемость, эффективность и затраты
- Предоставлять API, признаки и аналитические конечные точки для последующих приложений машинного обучения и ИИ
- Уточнять и совершенствовать бизнес-потребности посредством сотрудничества с заинтересованными сторонами и анализа
- Тесно сотрудничать с исследователями данных, инженерами машинного обучения, аналитиками, платформенными командами и бизнес-заинтересованными сторонами
- Помогать внедрять продукты на основе данных и развивать практики работы с данными и ИИ
Требования
- Практический опыт работы с Apache Spark и Delta Lake
- Уверенные навыки программирования на Python и SQL
- Подтверждённый опыт создания пакетных и потоковых конвейеров и промышленных платформ данных
- Глубокое знание принципов моделирования данных, качества и управления данными
- Практический опыт работы либо с сервисами данных AWS и Databricks Lakehouse, либо с Microsoft Azure/Fabric и связанными инструментами
- Опыт работы с архитектурами lakehouse и распределёнными системами данных
- Глубокое понимание масштабируемости, надёжности и производительности конвейеров
- Любознательность и развитые навыки решения проблем
- Опыт совместной работы в кросс-функциональных командах
- Опыт работы в Agile-среде или консалтинге будет преимуществом
- Знание Snowflake или GCP будет плюсом, но не является обязательным
- Знания в области AWS и Azure/Fabric, систем данных для генеративного ИИ и ИИ, CI/CD для конвейеров данных и инфраструктуры как кода желательны, но не обязательны
- Дополнительный опыт работы с Kafka, оптимизацией Spark, продвинутой аналитикой и нагрузками машинного обучения или крупномасштабными аналитическими платформами будет ценен
Преимущества
- Возможность удалённой и гибридной работы в зависимости от страны
- Карьерный рост благодаря международной мобильности и программам профессионального развития
- Возможности обучения с использованием современных инструментов, тренингов и опыта отраслевых экспертов
- Конкурентоспособный компенсационный пакет