Valtech
Valtech
Valtech — глобальное цифровое агентство, помогающее организациям улучшать взаимодействие с клиентами и развивать цифровой бизнес. Компания объединяет технологии, маркетинг, данные и искусственный интеллект для поддержки коммерческих инициатив, цифровой трансформации предприятий и повышения эффективности маркетинга. Работая командами и офисами по всему миру, Valtech сотрудничает с компаниями в области цифровой стратегии, инноваций в сфере клиентского опыта и практического применения данных для формирования более эффективного цифрового будущего.

Ведущий инженер данных — удалённо из Болгарии

Создавайте облачные платформы данных и конвейеры в Valtech для аналитики, ИИ и продуктов на основе данных. Работайте с AWS, Databricks и другими облачными средами, включая сценарии генеративного ИИ.

Описание

  • Создавайте и совершенствуйте облачные платформы данных для аналитики, ИИ и продуктов на основе данных.
  • Стройте надёжные пакетные, потоковые и почти работающие в реальном времени конвейеры на Spark и Delta Lake.
  • Разрабатывайте процессы приёма, преобразования и подготовки структурированных и неструктурированных данных.
  • Применяйте архитектуру lakehouse и медальонные слои bronze, silver и gold.
  • Помогайте переносить рабочие нагрузки между облаками, включая перенос конвейеров и моделей данных на новые платформы.
  • Готовьте наборы данных для аналитики, машинного обучения, причинного моделирования и оптимизации, пригодные к развёртыванию.
  • Разрабатывайте конвейеры данных для приложений генеративного ИИ, включая LLM, RAG, векторные потоки данных и архитектуры агентов.
  • Используйте Databricks MLflow, Unity Catalog или аналогичные инструменты.
  • Создавайте логические и физические модели данных.
  • Координируйте процессы с помощью Databricks Workflows, Airflow, dbt или аналогичных инструментов.
  • Используйте архитектурные шаблоны на основе событий и потоковой обработки.
  • Управляйте данными, их происхождением, качеством и контролем доступа с помощью Unity Catalog, AWS Lake Formation, Microsoft Purview, GCP Dataplex или аналогичных инструментов.
  • Отслеживайте актуальность данных, надёжность конвейеров и соблюдение SLA.
  • Предоставляйте данные через API, входы признаков и аналитические конечные точки.
  • Повышайте производительность, масштабируемость и экономическую эффективность конвейеров и инфраструктуры.
  • Уточняйте потребности заинтересованных сторон, критически оценивайте требования и предлагайте альтернативы.
  • Работайте с специалистами по данным, инженерами машинного обучения, аналитиками, платформенными командами и представителями бизнеса.
  • Помогайте командам внедрять продукты данных и развивать общие практики.

Требования

  • Опыт работы ведущим инженером данных.
  • Уверенный практический опыт работы с Apache Spark и Delta Lake.
  • Отличное владение Python и SQL.
  • Подтверждённый опыт создания пакетных и потоковых конвейеров и промышленных платформ данных.
  • Хорошее знание моделирования данных, качества данных и управления данными.
  • Значительный практический опыт работы с платформой Databricks Lakehouse.
  • Глубокая экспертиза как минимум в одном из основных облаков: AWS, GCP или Azure/Fabric.
  • Готовность и способность работать с разными облачными платформами.
  • Опыт работы с архитектурами lakehouse и распределёнными системами.
  • Глубокое понимание масштабируемости, надёжности и производительности.
  • Любознательность, навыки решения задач и умение сотрудничать с представителями разных функций.
  • Готовность критически оценивать бизнес-требования.
  • Адаптивность и интерес к работе с разными платформами.
  • Опыт работы по Agile или в консалтинге будет преимуществом.
  • Опыт работы с дополнительными облачными платформами или миграциями в облако будет преимуществом.
  • Опыт работы со Snowflake будет преимуществом.
  • Опыт работы с генеративным ИИ и системами данных для ИИ, включая конвейеры RAG, векторные базы данных и подготовку данных для LLM, будет преимуществом.
  • Опыт настройки CI/CD для конвейеров данных и инфраструктуры как кода, включая Terraform и CloudFormation, будет преимуществом.
  • Опыт работы с инструментами потоковой обработки, например Kafka, оптимизации Spark или платформами машинного обучения и экспериментов, будет преимуществом.
  • Опыт создания продуктов данных или крупномасштабных аналитических платформ будет преимуществом.

Преимущества

  • Гибкий формат работы, включая гибридный режим, и 25 дней отпуска.
  • Совместное субсидирование проезда и карты Multisport.
  • Расширенная медицинская страховка для удобного доступа к медицинским услугам.
  • Финансирование обучения техническим и другим навыкам, курсов и сертификаций.
  • Индивидуальный план развития карьеры с учётом результатов оценки работы.
  • Программа заботы о себе с психологическими консультациями и командными обсуждениями.
  • Комфортный офис, созданный для продуктивной работы.
  • Командные мероприятия и корпоративные встречи.
  • Возможности профессионального роста.
  • Культура, основанная на общих ценностях.
  • Возможности международной карьеры.
  • Инклюзивная культура и поддержка доступности.

Похожие вакансии

Intetics

Инженер данных для машинного обучения — удалённо из Румынии

Intetics

Создавайте инфраструктуру данных в реальном времени, графовые модели и системы временных рядов для анализа спортивных результатов. Поддерживайте оценку машинного обучения и системы ИИ для клиента Intetics из США.

Открыть