Runtalent — технологическая сервисная и консалтинговая компания, которая помогает организациям комплектовать команды и реализовывать технологические проекты с участием квалифицированных специалистов. Компания формирует гибкие команды и оказывает управляемые услуги, поддерживающие эффективную повседневную работу и успешное выполнение проектов. Основанная в 2003 году, Runtalent накопила опыт работы с клиентами из таких отраслей, как финансы, здравоохранение, логистика и индустрия развлечений, адаптируя подходы к подбору специалистов и реализации проектов под потребности каждого проекта.
Ведущий инженер по данным — удалённая работа в Бразилии
Ведущий инженер по данным отвечает за создание масштабируемых пакетных и потоковых конвейеров в Google Cloud. Роль предполагает моделирование данных, оркестрацию рабочих процессов и надёжную доставку данных для аналитики.
Описание
- Создавать и поддерживать устойчивые пакетные и потоковые конвейеры в Google Cloud.
- Разрабатывать процессы загрузки и преобразования, обеспечивающие доступность данных из различных источников.
- Проектировать аналитические модели данных с учётом производительности и эффективности затрат.
- Оркестрировать и контролировать рабочие процессы, управляя сбоями, качеством и надёжностью данных.
- Следовать эффективным практикам управления версиями на основе Git, CI/CD, тестирования и технической документации.
- Работать с архитекторами, аналитиками и представителями бизнеса, в том числе на встречах на английском языке.
- Участвовать в формировании технических решений и развитии архитектуры данных.
Требования
- Значительный опыт работы инженером по данным на уровне senior.
- Практический опыт работы с сервисами данных GCP, включая BigQuery, Dataflow, Cloud Composer (Airflow), Pub/Sub, Cloud Storage и Dataproc.
- Уверенное владение SQL и Python.
- Опыт создания многомерных моделей данных и/или архитектур озера данных или lakehouse.
- Знание систем управления версиями на основе Git и методов CI/CD.
- Продвинутый уровень английского языка.
Преимущества
- Полностью удалённый формат работы.