Applaudo
Applaudo
Applaudo — компания по разработке программного обеспечения в формате nearshore, помогающая организациям модернизировать технологии и продвигать цифровую трансформацию. Основанная в 2013 году, компания объединяет экспертизу в разработке программного обеспечения и консалтинге в таких направлениях, как инновации и проектирование пользовательского опыта, разработка и сопровождение приложений, обеспечение качества, облачные решения, искусственный интеллект, кибербезопасность, решения для работы с данными и модернизация приложений. Applaudo обслуживает клиентов из таких отраслей, как спорт, медиа и развлечения, розничная торговля, товары повседневного спроса и финансовые услуги, поддерживая проекты, направленные на улучшение цифровых продуктов, инфраструктуры и предоставления ИТ-услуг. Штаб-квартира компании находится в Остине, штат Техас, а офис — в Сан-Сальвадоре. В Applaudo работает от 501 до 1 000 сотрудников, обслуживающих компании в сфере технологий и цифровых услуг.

Старший инженер данных Azure Databricks

Создавайте конвейеры на Azure Databricks и Python для корпоративных решений Applaudo на базе ИИ. Объединяйте бизнес-данные в масштабируемые и надежные хабы и хранилища данных.

Описание

  • Создавать и поддерживать готовые к эксплуатации конвейеры данных на Azure Databricks и Python.
  • Разрабатывать масштабируемые преобразования с помощью PySpark или Spark SQL.
  • Получать и обрабатывать данные из API, реляционных баз данных, облачных хранилищ и SFTP.
  • Подключать платформы для работы с заявками, CRM, маркетинга, розничной торговли и другие корпоративные системы к централизованному хабу данных.
  • Разрабатывать и поддерживать структуры хранилищ данных, размерные модели и витрины данных.
  • Создавать, оптимизировать и поддерживать SQL-преобразования.
  • Добавлять проверки качества и согласованности данных.
  • Создавать и поддерживать исходящие потоки данных для сторонних систем.
  • Выявлять расхождения в данных и устранять проблемы конвейеров.
  • Документировать конвейеры, логику преобразований, зависимости и технические процессы.
  • Взаимодействовать с коллегами и заинтересованными сторонами, чтобы уточнять требования и выявлять риски.
  • Заранее сообщать о ходе работы, препятствиях и возможных задержках, а также предлагать меры для соблюдения сроков.

Требования

  • Не менее пяти лет профессионального опыта в инженерии данных.
  • Уверенный практический опыт работы с Azure Databricks.
  • Продвинутые навыки Python для обработки и преобразования данных, а также разработки конвейеров.
  • Уверенный опыт работы с Apache Spark, включая PySpark и/или Spark SQL.
  • Продвинутые навыки SQL, включая сложные преобразования, проверку данных и оптимизацию производительности запросов.
  • Глубокое знание хранилищ данных и размерного моделирования, включая факты, измерения и витрины данных.
  • Опыт интеграции данных из REST API, реляционных баз данных, облачных хранилищ и SFTP.
  • Практический опыт работы со службами данных Microsoft Azure для получения, хранения и обработки данных, а также интеграции.
  • Опыт внедрения проверок качества данных и проверки согласованности между исходными системами и целевыми моделями данных.
  • Умение диагностировать сбои конвейеров, исследовать расхождения в данных и надежно устранять их причины.
  • Сильные аналитические навыки, умение решать проблемы и организовывать работу.
  • Способность работать самостоятельно, брать на себя ответственность и следовать инженерным практикам и стандартам документации.
  • Уверенное владение английским языком и способность работать с командой, находящейся в США.
  • Опыт переноса рабочих нагрузок на SQL в Azure Databricks будет преимуществом.

Преимущества

  • Возможность работать удаленно.
  • Возможности быстро учиться и работать в сильных командах.
  • Современные методы организации работы.
  • Возможность участвовать в масштабной трансформации на основе ИИ.

Похожие вакансии

Вакансии не найдены

Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.