Valtech — глобальное цифровое агентство, помогающее организациям улучшать взаимодействие с клиентами и развивать цифровой бизнес. Компания объединяет технологии, маркетинг, данные и искусственный интеллект для поддержки коммерческих инициатив, цифровой трансформации предприятий и повышения эффективности маркетинга. Работая командами и офисами по всему миру, Valtech сотрудничает с компаниями в области цифровой стратегии, инноваций в сфере клиентского опыта и практического применения данных для формирования более эффективного цифрового будущего.
Ведущий инженер по данным: удалённая работа в Северной Македонии в Valtech
Присоединяйтесь к Valtech в роли ведущего инженера по данным и создавайте облачные платформы данных для аналитики, ИИ, генеративного ИИ и продуктов данных. Работа связана с масштабируемыми конвейерами, архитектурой lakehouse, управлением данными и надёжной доставкой данных.
Описание
- Создавать и оптимизировать облачные платформы данных для аналитики, ИИ и продуктов данных
- Разрабатывать надёжные пакетные, потоковые конвейеры и конвейеры обработки данных в режиме, близком к реальному времени, с использованием таких инструментов, как Spark и Delta Lake
- Создавать процессы загрузки, преобразования и курирования структурированных и неструктурированных данных
- Реализовывать архитектуры lakehouse и медальонные уровни с использованием Databricks или Fabric
- Предоставлять подготовленные наборы данных для аналитики, машинного обучения, причинно-следственного моделирования и оптимизации
- Разрабатывать потоки данных для генеративного ИИ с использованием LLM, RAG, векторного поиска и агентов
- Проектировать масштабируемые логические и физические модели данных
- Оркестрировать рабочие процессы с помощью Airflow, dbt, Databricks Workflows, Azure Data Factory или сопоставимых инструментов
- Применять практики управления данными, обеспечения их происхождения, качества, контроля доступа и безопасности
- Настраивать мониторинг актуальности данных, надёжности конвейеров и выполнения SLA
- Поддерживать уровни предоставления данных, такие как API, входные данные для признаков и аналитические конечные точки
- Оптимизировать конвейеры и инфраструктуру для повышения производительности, масштабируемости и экономической эффективности
- Уточнять и согласовывать бизнес-требования с заинтересованными сторонами
- Работать с учёными по данным, инженерами машинного обучения, аналитиками, платформенными командами и бизнес-заинтересованными сторонами
- Поддерживать внедрение продуктов данных и развивать практики экосистемы данных и ИИ
Требования
- Опыт работы в области инженерии данных на уровне senior
- Практический опыт работы с Apache Spark и Delta Lake
- Уверенные навыки программирования на Python и SQL
- Подтверждённый опыт создания пакетных и потоковых конвейеров данных
- Опыт создания готовых к промышленной эксплуатации платформ данных
- Глубокое знание принципов моделирования данных, качества данных и управления данными
- Практический опыт работы с сервисами данных AWS и Databricks Lakehouse либо сервисами и инструментами Microsoft Azure/Fabric
- Глубокая экспертиза как минимум в одном направлении платформ AWS или Azure/Fabric
- Опыт работы с архитектурами lakehouse и распределёнными системами данных
- Глубокое понимание масштабируемости, надёжности и производительности конвейеров
- Сильные навыки решения задач и готовность к межфункциональному сотрудничеству
- Знакомство со Snowflake или GCP будет преимуществом, но не является обязательным
- Опыт работы в Agile-среде или консалтинге будет преимуществом
- Дополнительным преимуществом будет опыт работы с AWS и Azure/Fabric, системами данных для генеративного ИИ и ИИ, CI/CD для конвейеров данных, Terraform или CloudFormation, Kafka, оптимизацией Spark, расширенной аналитикой, ML-нагрузками, продуктами данных или крупномасштабными аналитическими платформами
- Требования к образованию не указаны
Преимущества
- Частная медицинская страховка
- Обучение и сертификация в рамках образовательной программы
- Программа поддержки благополучия
- Бесплатные кофе, напитки и снеки на работе
- Корпоративные ужины
- Корпоративные мероприятия, такие как лыжные поездки, картинг, лазертаг, дегустация вин, пикники и кулинарные мастер-классы
- Конкурентоспособная заработная плата
- 24 дня отпуска
- Ежегодные мероприятия для всей команды
- Сложные и интересные проекты
- Инклюзивная культура с поддержкой профессионального роста
- Культура открытой обратной связи
- Разумные условия для прохождения собеседования