
Applaudo — компанія з nearshore-розробки програмного забезпечення, яка допомагає організаціям модернізувати технології та розвивати цифрову трансформацію. Заснована у 2013 році, компанія поєднує експертизу в розробці програмного забезпечення та консалтингу в таких напрямах, як інновації та проєктування користувацького досвіду, розробка й супровід застосунків, забезпечення якості, хмарні рішення, штучний інтелект, кібербезпека, рішення для роботи з даними та модернізація застосунків. Applaudo обслуговує клієнтів у таких галузях, як спорт, медіа та розваги, роздрібна торгівля, споживчі товари й фінансові послуги, підтримуючи проєкти, спрямовані на вдосконалення цифрових продуктів, інфраструктури та надання ІТ-послуг. Штаб-квартира компанії розташована в Остіні, штат Техас, а офіс — у Сан-Сальвадорі. У Applaudo працює від 501 до 1 000 співробітників, які обслуговують компанії у сфері технологій і цифрових послуг.
Старший інженер даних Azure Databricks
Створюйте конвеєри даних на Azure Databricks і Python для корпоративних рішень Applaudo на основі ШІ. Підключайте корпоративні джерела до надійних сховищ і централізованого Data Hub.
Опис
- Створюйте й підтримуйте виробничі конвеєри даних за допомогою Azure Databricks і Python.
- Розробляйте масштабовані перетворення даних на PySpark або Spark SQL.
- Завантажуйте й обробляйте дані з API, реляційних баз даних, хмарних сховищ і SFTP.
- Об’єднуйте дані із систем обробки заявок, CRM, маркетингу, роздрібної торгівлі та інших корпоративних платформ у централізованому Data Hub.
- Розробляйте й підтримуйте структури сховищ даних, багатовимірні моделі та вітрини даних.
- Пишіть, оптимізуйте й підтримуйте SQL-перетворення.
- Додавайте перевірки якості даних і узгодженості.
- Створюйте й підтримуйте вихідні потоки даних для сторонніх систем.
- Виявляйте розбіжності в даних і усувайте проблеми конвеєрів.
- Документуйте конвеєри, логіку перетворень, залежності й технічні процеси.
- Співпрацюйте з колегами та зацікавленими сторонами, щоб уточнювати потреби, виявляти ризики й створювати надійні рішення для роботи з даними.
- Завчасно повідомляйте про перебіг роботи, перешкоди й можливі затримки та пропонуйте подальші кроки.
Вимоги
- Щонайменше п’ять років професійного досвіду в інженерії даних.
- Ґрунтовний практичний досвід роботи з Azure Databricks.
- Просунуті навички Python для обробки й перетворення даних та розробки конвеєрів.
- Впевнений досвід роботи з Apache Spark, зокрема PySpark та/або Spark SQL.
- Просунуті навички SQL, зокрема складні перетворення, перевірка даних та оптимізація продуктивності запитів.
- Ґрунтовні знання сховищ даних і багатовимірного моделювання, зокрема фактів, вимірів і вітрин даних.
- Досвід підключення REST API, реляційних баз даних, хмарних сховищ і SFTP.
- Практичний досвід роботи із сервісами даних Microsoft Azure.
- Досвід додавання перевірок якості даних і валідації узгодженості між вихідними системами та цільовими моделями.
- Здатність діагностувати збої конвеєрів і досліджувати розбіжності в даних.
- Здатність працювати самостійно, брати на себе відповідальність і дотримуватися інженерних практик та стандартів документування.
- Впевнене володіння англійською мовою для спілкування.
- Здатність ефективно співпрацювати з командою, що працює у США.
- Досвід міграції робочих навантажень SQL до Azure Databricks буде перевагою.
Переваги
- Віддалена робота.
- Можливість швидко навчатися й брати на себе відповідальність.
- Робота в сильних командах.
- Інвестиції в сучасні підходи до роботи.
- Участь у масштабній трансформації на основі ШІ.
Схожі вакансії
Вакансій не знайдено
Спробуйте змінити або очистити фільтри, щоб знайти більше можливостей.