Grupo EASY
Grupo EASY
11 – 50 Сотрудники
B2BКонсалтинг
Grupo EASY — консалтинговая компания, которая помогает организациям совершенствовать работу команд и повышать их эффективность. Компания объединяет консалтинг, развитие компетенций и практические организационные решения, чтобы решать проблемы в работе организаций и постоянно улучшать результаты команд.

Старший инженер данных (Google Cloud) — Grupo EASY, удалённо, Бразилия

Создавайте масштабируемые конвейеры данных в Google Cloud, объединяя источники Oracle, SQL Server и AWS. Разрабатывайте аналитические модели в BigQuery для бизнеса.

Описание

  • Создавайте и оптимизируйте пакетные и потоковые конвейеры данных в Google Cloud.
  • Разрабатывайте и поддерживайте надёжные и масштабируемые решения для инженерии данных.
  • Интегрируйте данные из Oracle (OCI), локального SQL Server и AWS S3.
  • Обеспечивайте качество данных, масштабируемость, мониторинг и управление данными.
  • Снижайте затраты на хранение и обработку данных.
  • Подготавливайте данные для практического использования командами Data Science и Data Analytics.
  • Используйте Dataflow для извлечения и преобразования данных из Oracle и SQL Server с последующей загрузкой в BigQuery.
  • Организуйте аналитические модели BigQuery по слоям Raw, Bronze, Silver и Gold.
  • Настраивайте рабочие процессы Cloud Composer с упорядоченным запуском, мониторингом и обработкой сбоев.
  • Каталогизируйте таблицы, метаданные и ресурсы данных с помощью Dataplex и/или Data Catalog.

Требования

  • Значительный опыт работы с Google Cloud Platform (GCP).
  • 3–5 лет профессионального опыта.
  • Уверенное владение Python.
  • Продвинутые навыки SQL, включая BigQuery.
  • Опыт работы с Git и CI/CD.
  • Опыт работы с BigQuery, Dataflow, Dataproc и Pub/Sub.
  • Опыт создания пакетных и потоковых ETL/ELT-конвейеров.
  • Опыт интеграции Oracle, SQL Server и MySQL через JDBC или собственные решения.
  • Опыт работы с Cloud Storage и озёрами данных.
  • Знание секционирования и кластеризации в BigQuery.
  • Знание Dataproc (Spark/Hadoop) и NoSQL-баз данных, таких как Bigtable и Firestore.
  • Опыт работы с dbt или Dataform.
  • Опыт работы с Cloud Composer (Airflow) или Workflows.
  • Знание Cloud Functions и Cloud Run.
  • Предпочтительно наличие степени бакалавра.
  • Опыт или знания в области медицинских информационных систем или систем для больниц будут преимуществом.

Преимущества

  • Полная занятость.
  • Работа над сложными инновационными проектами.
  • Работа в команде высококвалифицированных специалистов.
  • Культура сотрудничества, поддерживающая непрерывное обучение.
  • Возможности для профессионального роста.

Похожие вакансии

ioasys

Инженер данных в ioasys

ioasys

Создавайте и развивайте платформы данных для ioasys, работая с Databricks, облачными сервисами и конвейерами данных. Совершенствуйте озёра и хранилища данных, а также DevOps-решения.

Открыть
Zup Innovation

Старший инженер данных

Zup Innovation
1 001 – 5 000 Сотрудники
APIКонсалтингМаркетинг

Ведущий специалист по инженерии данных, создающий конвейеры и архитектуры Data Lake, Data Warehouse и Lakehouse. Развивает управление данными, их качество и безопасность, помогая Zup Innovation эффективно использовать данные.

Открыть
GFT Technologies

Старший инженер данных — аналитика Azure

GFT Technologies

Старший инженер данных в GFT Technologies: проектирует архитектуры Azure, конвейеры данных и аналитические решения. Связывает бизнес-команды и технических специалистов в проектах облачной трансформации данных.

Открыть
Smarthis

Специалист по миграции данных SAP S/4HANA

Smarthis

Руководите проектами миграции данных SAP S/4HANA в Smarthis, компании в сфере цифровой трансформации. Подготавливайте, проверяйте и контролируйте основные и транзакционные данные.

Открыть