Applaudo
Applaudo
Applaudo — компания по разработке программного обеспечения в формате nearshore, помогающая организациям модернизировать технологии и продвигать цифровую трансформацию. Основанная в 2013 году, компания объединяет экспертизу в разработке программного обеспечения и консалтинге в таких направлениях, как инновации и проектирование пользовательского опыта, разработка и сопровождение приложений, обеспечение качества, облачные решения, искусственный интеллект, кибербезопасность, решения для работы с данными и модернизация приложений. Applaudo обслуживает клиентов из таких отраслей, как спорт, медиа и развлечения, розничная торговля, товары повседневного спроса и финансовые услуги, поддерживая проекты, направленные на улучшение цифровых продуктов, инфраструктуры и предоставления ИТ-услуг. Штаб-квартира компании находится в Остине, штат Техас, а офис — в Сан-Сальвадоре. В Applaudo работает от 501 до 1 000 сотрудников, обслуживающих компании в сфере технологий и цифровых услуг.

Ведущий инженер данных Azure Databricks

Создавайте конвейеры данных на Azure Databricks и Python для корпоративных решений Applaudo на базе ИИ. Подключайте корпоративные источники к надежным хранилищам и централизованному Data Hub.

Описание

  • Создавайте и поддерживайте производственные конвейеры данных с помощью Azure Databricks и Python.
  • Разрабатывайте масштабируемые преобразования данных на PySpark или Spark SQL.
  • Загружайте и обрабатывайте данные из API, реляционных баз данных, облачных хранилищ и SFTP.
  • Объединяйте данные из систем учета заявок, CRM, маркетинга, розничной торговли и других корпоративных платформ в централизованном Data Hub.
  • Разрабатывайте и поддерживайте структуры хранилищ данных, многомерные модели и витрины данных.
  • Пишите, оптимизируйте и поддерживайте SQL-преобразования.
  • Добавляйте проверки качества данных и согласованности.
  • Создавайте и поддерживайте исходящие потоки данных для сторонних систем.
  • Выявляйте расхождения в данных и устраняйте проблемы конвейеров.
  • Документируйте конвейеры, логику преобразований, зависимости и технические процессы.
  • Взаимодействуйте с коллегами и заинтересованными сторонами, чтобы уточнять потребности, выявлять риски и создавать надежные решения для работы с данными.
  • Заранее сообщайте о ходе работы, препятствиях и возможных задержках, предлагая дальнейшие шаги.

Требования

  • Не менее пяти лет профессионального опыта в инженерии данных.
  • Уверенный практический опыт работы с Azure Databricks.
  • Продвинутые навыки Python для обработки и преобразования данных, а также разработки конвейеров.
  • Уверенный опыт работы с Apache Spark, включая PySpark и/или Spark SQL.
  • Продвинутые навыки SQL, включая сложные преобразования, проверку данных и оптимизацию производительности запросов.
  • Глубокие знания хранилищ данных и многомерного моделирования, включая факты, измерения и витрины данных.
  • Опыт подключения REST API, реляционных баз данных, облачных хранилищ и SFTP.
  • Практический опыт работы с сервисами данных Microsoft Azure.
  • Опыт внедрения проверок качества данных и проверки согласованности между исходными системами и целевыми моделями.
  • Умение диагностировать сбои конвейеров и разбираться в расхождениях данных.
  • Умение работать самостоятельно, брать на себя ответственность и соблюдать инженерные стандарты и практики документирования.
  • Уверенное владение английским языком для общения.
  • Умение эффективно взаимодействовать с командой, находящейся в США.
  • Опыт миграции рабочих нагрузок SQL в Azure Databricks будет преимуществом.

Преимущества

  • Удаленная работа.
  • Возможность быстро учиться и брать на себя ответственность.
  • Работа в сильных командах.
  • Инвестиции в современные подходы к работе.
  • Участие в масштабной трансформации на основе ИИ.

Похожие вакансии

Вакансии не найдены

Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.