AVANTTi
AVANTTi
AVANTTi — бразильська компанія, що надає технологічні послуги та допомагає організаціям перетворювати технологічні й інноваційні ініціативи на вимірювану цінність для бізнесу. Серед її послуг — підбір ІТ-персоналу та пошук фахівців, швидке формування команд, розроблення програмного забезпечення у форматі фабрики з використанням таких технологій, як ABAP, Java та .NET, а також управління портфелем і SAFe за методологією VMO (Value Management Office). AVANTTi підтримує цифрову трансформацію та реалізацію корпоративних ІТ-проєктів для організацій у банківському секторі, промисловості, логістиці, роздрібній торгівлі й освіті. Компанія працює в Куритибі, Сан-Паулу та Ріо-де-Жанейро.

Провідний інженер даних Azure Databricks

Провідний інженер даних в AVANTTi: розробка конвеєрів Azure Databricks і процесів ETL/ELT. Підтримка масштабованих корпоративних систем даних для аналітики та бізнес-потреб.

Опис

  • Розробляти й оптимізувати конвеєри даних за допомогою Azure Databricks, PySpark, Azure Data Factory, Python і Azure Data Lake.
  • Розробляти та підтримувати процеси ETL/ELT для корпоративної інтеграції й аналітики.
  • Завантажувати, перетворювати, перевіряти та звіряти дані з кількох систем.
  • Профілювати й аналізувати дані, виявляти проблеми якості та забезпечувати їхню узгодженість і надійність.
  • Писати й оптимізувати складні SQL-запити для ефективної обробки даних.
  • Діагностувати проблеми та підвищувати продуктивність під час обробки великих обсягів даних.
  • Усувати інциденти другого рівня у виробничому середовищі, що впливають на конвеєри Azure Data Factory, завдання Databricks і процеси обробки даних.
  • Відстежувати роботу й підтримувати виробничі конвеєри, забезпечуючи доступність, масштабованість та операційну ефективність.
  • Допомагати з розгортанням і випусками в середовищах розробки, тестування та експлуатації.
  • Узгоджувати пріоритети між проєктами, працювати самостійно й дотримуватися термінів.

Вимоги

  • Понад вісім років досвіду в інженерії даних.
  • Підтверджений досвід в інженерії даних і розробці ETL-процесів.
  • Впевнений практичний досвід роботи з Azure Databricks і Azure Data Factory (ADF).
  • Просунуті навички розробки ETL/ELT-процесів і перетворення даних.
  • Просунуті навички SQL, зокрема написання, оптимізації та налаштування складних запитів.
  • Досвід роботи з Python і PySpark.
  • Досвід роботи з Azure Data Lake і корпоративною інтеграцією даних.
  • Досвід аналізу, перевірки й профілювання даних, а також контролю їхньої якості.
  • Досвід підтримки, моніторингу та діагностики проблем у виробничих конвеєрах.
  • Здатність працювати самостійно, організовано й керувати пріоритетами.
  • Високий рівень усної та письмової комунікації.
  • Просунутий рівень англійської мови.
  • Бажано: досвід роботи з конвеєрами CI/CD і практиками DevOps.
  • Бажано: знайомство з Git, Azure DevOps або подібними засобами контролю версій і розгортання.
  • Бажано: знайомство з інструментами хмарного моніторингу, журналювання та спостережуваності.

Переваги

  • Працевлаштування за трудовим договором CLT.
  • Повністю віддалена робота.

Схожі вакансії

Hitss Brasil

Архітектор хмарних рішень середнього рівня — Kubernetes і OpenShift

Hitss Brasil
5 001 – 10 000 Працівники
КонсалтингЛогістикаМаркетинг

Підтримуйте хмарне та контейнерне середовище Hitss Brasil, приділяючи особливу увагу Kubernetes і Red Hat OpenShift. Визначайте архітектурні стандарти платформ і автоматизуйте конфігурацію за допомогою Ansible, щоб забезпечувати надійну роботу.

Відкрити