
Applaudo — компания по разработке программного обеспечения в формате nearshore, помогающая организациям модернизировать технологии и продвигать цифровую трансформацию. Основанная в 2013 году, компания объединяет экспертизу в разработке программного обеспечения и консалтинге в таких направлениях, как инновации и проектирование пользовательского опыта, разработка и сопровождение приложений, обеспечение качества, облачные решения, искусственный интеллект, кибербезопасность, решения для работы с данными и модернизация приложений. Applaudo обслуживает клиентов из таких отраслей, как спорт, медиа и развлечения, розничная торговля, товары повседневного спроса и финансовые услуги, поддерживая проекты, направленные на улучшение цифровых продуктов, инфраструктуры и предоставления ИТ-услуг. Штаб-квартира компании находится в Остине, штат Техас, а офис — в Сан-Сальвадоре. В Applaudo работает от 501 до 1 000 сотрудников, обслуживающих компании в сфере технологий и цифровых услуг.
Старший инженер данных Azure Databricks
Создавайте конвейеры на Azure Databricks и Python для корпоративных решений Applaudo на базе ИИ. Объединяйте бизнес-данные в масштабируемые и надежные хабы и хранилища данных.
Описание
- Создавать и поддерживать готовые к эксплуатации конвейеры данных на Azure Databricks и Python.
- Разрабатывать масштабируемые преобразования с помощью PySpark или Spark SQL.
- Получать и обрабатывать данные из API, реляционных баз данных, облачных хранилищ и SFTP.
- Подключать платформы для работы с заявками, CRM, маркетинга, розничной торговли и другие корпоративные системы к централизованному хабу данных.
- Разрабатывать и поддерживать структуры хранилищ данных, размерные модели и витрины данных.
- Создавать, оптимизировать и поддерживать SQL-преобразования.
- Добавлять проверки качества и согласованности данных.
- Создавать и поддерживать исходящие потоки данных для сторонних систем.
- Выявлять расхождения в данных и устранять проблемы конвейеров.
- Документировать конвейеры, логику преобразований, зависимости и технические процессы.
- Взаимодействовать с коллегами и заинтересованными сторонами, чтобы уточнять требования и выявлять риски.
- Заранее сообщать о ходе работы, препятствиях и возможных задержках, а также предлагать меры для соблюдения сроков.
Требования
- Не менее пяти лет профессионального опыта в инженерии данных.
- Уверенный практический опыт работы с Azure Databricks.
- Продвинутые навыки Python для обработки и преобразования данных, а также разработки конвейеров.
- Уверенный опыт работы с Apache Spark, включая PySpark и/или Spark SQL.
- Продвинутые навыки SQL, включая сложные преобразования, проверку данных и оптимизацию производительности запросов.
- Глубокое знание хранилищ данных и размерного моделирования, включая факты, измерения и витрины данных.
- Опыт интеграции данных из REST API, реляционных баз данных, облачных хранилищ и SFTP.
- Практический опыт работы со службами данных Microsoft Azure для получения, хранения и обработки данных, а также интеграции.
- Опыт внедрения проверок качества данных и проверки согласованности между исходными системами и целевыми моделями данных.
- Умение диагностировать сбои конвейеров, исследовать расхождения в данных и надежно устранять их причины.
- Сильные аналитические навыки, умение решать проблемы и организовывать работу.
- Способность работать самостоятельно, брать на себя ответственность и следовать инженерным практикам и стандартам документации.
- Уверенное владение английским языком и способность работать с командой, находящейся в США.
- Опыт переноса рабочих нагрузок на SQL в Azure Databricks будет преимуществом.
Преимущества
- Возможность работать удаленно.
- Возможности быстро учиться и работать в сильных командах.
- Современные методы организации работы.
- Возможность участвовать в масштабной трансформации на основе ИИ.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.