
Applaudo — компания по разработке программного обеспечения в формате nearshore, помогающая организациям модернизировать технологии и продвигать цифровую трансформацию. Основанная в 2013 году, компания объединяет экспертизу в разработке программного обеспечения и консалтинге в таких направлениях, как инновации и проектирование пользовательского опыта, разработка и сопровождение приложений, обеспечение качества, облачные решения, искусственный интеллект, кибербезопасность, решения для работы с данными и модернизация приложений. Applaudo обслуживает клиентов из таких отраслей, как спорт, медиа и развлечения, розничная торговля, товары повседневного спроса и финансовые услуги, поддерживая проекты, направленные на улучшение цифровых продуктов, инфраструктуры и предоставления ИТ-услуг. Штаб-квартира компании находится в Остине, штат Техас, а офис — в Сан-Сальвадоре. В Applaudo работает от 501 до 1 000 сотрудников, обслуживающих компании в сфере технологий и цифровых услуг.
Ведущий инженер данных Azure Databricks
Создавайте конвейеры данных на Azure Databricks и Python для корпоративных решений Applaudo на базе ИИ. Подключайте корпоративные источники к надежным хранилищам и централизованному Data Hub.
Описание
- Создавайте и поддерживайте производственные конвейеры данных с помощью Azure Databricks и Python.
- Разрабатывайте масштабируемые преобразования данных на PySpark или Spark SQL.
- Загружайте и обрабатывайте данные из API, реляционных баз данных, облачных хранилищ и SFTP.
- Объединяйте данные из систем учета заявок, CRM, маркетинга, розничной торговли и других корпоративных платформ в централизованном Data Hub.
- Разрабатывайте и поддерживайте структуры хранилищ данных, многомерные модели и витрины данных.
- Пишите, оптимизируйте и поддерживайте SQL-преобразования.
- Добавляйте проверки качества данных и согласованности.
- Создавайте и поддерживайте исходящие потоки данных для сторонних систем.
- Выявляйте расхождения в данных и устраняйте проблемы конвейеров.
- Документируйте конвейеры, логику преобразований, зависимости и технические процессы.
- Взаимодействуйте с коллегами и заинтересованными сторонами, чтобы уточнять потребности, выявлять риски и создавать надежные решения для работы с данными.
- Заранее сообщайте о ходе работы, препятствиях и возможных задержках, предлагая дальнейшие шаги.
Требования
- Не менее пяти лет профессионального опыта в инженерии данных.
- Уверенный практический опыт работы с Azure Databricks.
- Продвинутые навыки Python для обработки и преобразования данных, а также разработки конвейеров.
- Уверенный опыт работы с Apache Spark, включая PySpark и/или Spark SQL.
- Продвинутые навыки SQL, включая сложные преобразования, проверку данных и оптимизацию производительности запросов.
- Глубокие знания хранилищ данных и многомерного моделирования, включая факты, измерения и витрины данных.
- Опыт подключения REST API, реляционных баз данных, облачных хранилищ и SFTP.
- Практический опыт работы с сервисами данных Microsoft Azure.
- Опыт внедрения проверок качества данных и проверки согласованности между исходными системами и целевыми моделями.
- Умение диагностировать сбои конвейеров и разбираться в расхождениях данных.
- Умение работать самостоятельно, брать на себя ответственность и соблюдать инженерные стандарты и практики документирования.
- Уверенное владение английским языком для общения.
- Умение эффективно взаимодействовать с командой, находящейся в США.
- Опыт миграции рабочих нагрузок SQL в Azure Databricks будет преимуществом.
Преимущества
- Удаленная работа.
- Возможность быстро учиться и брать на себя ответственность.
- Работа в сильных командах.
- Инвестиции в современные подходы к работе.
- Участие в масштабной трансформации на основе ИИ.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.