AVANTTi
AVANTTi
AVANTTi — бразильская компания, предоставляющая технологические услуги и помогающая организациям превращать технологические и инновационные инициативы в измеримую ценность для бизнеса. В число её услуг входят подбор ИТ-персонала и поиск специалистов, быстрое формирование команд, разработка программного обеспечения в формате фабрики с использованием таких технологий, как ABAP, Java и .NET, а также управление портфелем и SAFe по методологии VMO (Value Management Office). AVANTTi поддерживает цифровую трансформацию и реализацию корпоративных ИТ-проектов для организаций банковского сектора, обрабатывающей промышленности, логистики, розничной торговли и образования. Компания работает в Куритибе, Сан-Паулу и Рио-де-Жанейро.

Ведущий инженер данных Azure Databricks

Ведущий инженер данных в AVANTTi: разработка конвейеров Azure Databricks и процессов ETL/ELT. Поддержка масштабируемых корпоративных систем данных для аналитики и бизнес-задач.

Описание

  • Разрабатывать и оптимизировать конвейеры данных с помощью Azure Databricks, PySpark, Azure Data Factory, Python и Azure Data Lake.
  • Разрабатывать и сопровождать процессы ETL/ELT для корпоративной интеграции и аналитики.
  • Загружать, преобразовывать, проверять и сверять данные из нескольких систем.
  • Профилировать и анализировать данные, выявлять проблемы качества и обеспечивать их согласованность и надежность.
  • Писать и оптимизировать сложные SQL-запросы для эффективной обработки данных.
  • Диагностировать проблемы и повышать производительность при обработке больших объемов данных.
  • Устранять инциденты второго уровня в рабочей среде, затрагивающие конвейеры Azure Data Factory, задания Databricks и процессы обработки данных.
  • Отслеживать работу и поддерживать конвейеры в рабочей среде, обеспечивая доступность, масштабируемость и операционную эффективность.
  • Помогать с развертыванием и выпусками в средах разработки, тестирования и эксплуатации.
  • Согласовывать приоритеты между проектами, работать самостоятельно и соблюдать сроки.

Требования

  • Более восьми лет опыта в инженерии данных.
  • Подтвержденный опыт в инженерии данных и разработке ETL-процессов.
  • Уверенный практический опыт работы с Azure Databricks и Azure Data Factory (ADF).
  • Продвинутые навыки разработки ETL/ELT-процессов и преобразования данных.
  • Продвинутые навыки SQL, включая написание, оптимизацию и настройку сложных запросов.
  • Опыт работы с Python и PySpark.
  • Опыт работы с Azure Data Lake и корпоративной интеграцией данных.
  • Опыт анализа, проверки и профилирования данных, а также контроля их качества.
  • Опыт поддержки, мониторинга и диагностики проблем в рабочих конвейерах данных.
  • Умение работать самостоятельно, поддерживать порядок в задачах и расставлять приоритеты.
  • Сильные навыки устной и письменной коммуникации.
  • Продвинутый уровень английского языка.
  • Желательно: опыт работы с конвейерами CI/CD и практиками DevOps.
  • Желательно: знакомство с Git, Azure DevOps или сопоставимыми инструментами контроля версий и развертывания.
  • Желательно: знакомство с инструментами облачного мониторинга, журналирования и наблюдаемости.

Преимущества

  • Оформление по трудовому договору CLT.
  • Полностью удаленная работа.

Похожие вакансии

Hitss Brasil

Архитектор облачных решений среднего уровня — Kubernetes и OpenShift

Hitss Brasil
5 001 – 10 000 Сотрудники
КонсалтингЛогистикаМаркетинг

Поддерживайте облачную и контейнерную инфраструктуру Hitss Brasil, уделяя особое внимание Kubernetes и Red Hat OpenShift. Устанавливайте архитектурные стандарты платформ и автоматизируйте конфигурацию с помощью Ansible для поддержания стабильной работы.

Открыть