
Applaudo — компанія з nearshore-розробки програмного забезпечення, яка допомагає організаціям модернізувати технології та розвивати цифрову трансформацію. Заснована у 2013 році, компанія поєднує експертизу в розробці програмного забезпечення та консалтингу в таких напрямах, як інновації та проєктування користувацького досвіду, розробка й супровід застосунків, забезпечення якості, хмарні рішення, штучний інтелект, кібербезпека, рішення для роботи з даними та модернізація застосунків. Applaudo обслуговує клієнтів у таких галузях, як спорт, медіа та розваги, роздрібна торгівля, споживчі товари й фінансові послуги, підтримуючи проєкти, спрямовані на вдосконалення цифрових продуктів, інфраструктури та надання ІТ-послуг. Штаб-квартира компанії розташована в Остіні, штат Техас, а офіс — у Сан-Сальвадорі. У Applaudo працює від 501 до 1 000 співробітників, які обслуговують компанії у сфері технологій і цифрових послуг.
Старший інженер даних Azure Databricks
Створюйте конвеєри на Azure Databricks і Python для корпоративних рішень Applaudo на основі ШІ. Об’єднуйте бізнес-дані в масштабовані й надійні хаби та сховища даних.
Опис
- Створювати й підтримувати готові до експлуатації конвеєри даних на Azure Databricks і Python.
- Розробляти масштабовані перетворення за допомогою PySpark або Spark SQL.
- Отримувати й обробляти дані з API, реляційних баз даних, хмарних сховищ і SFTP.
- Підключати платформи для роботи із заявками, CRM, маркетингу, роздрібної торгівлі та інші корпоративні системи до централізованого хаба даних.
- Розробляти й підтримувати структури сховищ даних, вимірні моделі та вітрини даних.
- Створювати, оптимізувати й підтримувати SQL-перетворення.
- Додавати перевірки якості та узгодженості даних.
- Створювати й підтримувати вихідні потоки даних для сторонніх систем.
- Виявляти розбіжності в даних і усувати проблеми конвеєрів.
- Документувати конвеєри, логіку перетворень, залежності й технічні процеси.
- Співпрацювати з колегами та зацікавленими сторонами, щоб уточнювати вимоги й виявляти ризики.
- Завчасно повідомляти про перебіг роботи, перешкоди й можливі затримки, а також пропонувати кроки для дотримання термінів.
Вимоги
- Щонайменше п’ять років професійного досвіду в інженерії даних.
- Впевнений практичний досвід роботи з Azure Databricks.
- Просунуті навички Python для обробки й перетворення даних, а також розробки конвеєрів.
- Впевнений досвід роботи з Apache Spark, зокрема PySpark та/або Spark SQL.
- Просунуті навички SQL, зокрема складні перетворення, перевірка даних і оптимізація продуктивності запитів.
- Глибокі знання сховищ даних і вимірного моделювання, зокрема фактів, вимірів і вітрин даних.
- Досвід інтеграції даних із REST API, реляційних баз даних, хмарних сховищ і SFTP.
- Практичний досвід роботи зі службами даних Microsoft Azure для отримання, зберігання й обробки даних та інтеграції.
- Досвід упровадження перевірок якості даних і перевірки узгодженості між вихідними системами та цільовими моделями даних.
- Здатність діагностувати збої конвеєрів, досліджувати розбіжності в даних і надійно усувати їхні причини.
- Розвинені аналітичні навички, уміння розв’язувати проблеми й організовувати роботу.
- Здатність працювати самостійно, брати на себе відповідальність і дотримуватися інженерних практик та стандартів документування.
- Впевнене володіння англійською мовою та здатність працювати з командою у США.
- Досвід перенесення робочих навантажень на SQL до Azure Databricks буде перевагою.
Переваги
- Можливість працювати віддалено.
- Можливості швидко навчатися й працювати із сильними командами.
- Сучасні практики роботи.
- Можливість долучитися до масштабної трансформації на основі ШІ.
Схожі вакансії
Вакансій не знайдено
Спробуйте змінити або очистити фільтри, щоб знайти більше можливостей.