
Leega — латиноамериканская технологическая консалтинговая компания, специализирующаяся на аналитике данных, облачных решениях и цифровой трансформации. В число её услуг входят разработка приложений, машинное обучение, аналитика управления рисками и поддержка организаций, модернизирующих свои среды данных. Leega сотрудничает с Google Cloud, AWS и Microsoft Azure, помогая компаниям улучшать управление данными и внедрять облачные технологии. Компания также позиционирует себя как первую в регионе организацию, сертифицированную Google Cloud в области аналитики данных.
Старший инженер данных Google Cloud
Создавайте централизованный узел данных в Google Cloud для компании по производству строительных материалов, разрабатывая конвейеры, применяя архитектуру Medallion и моделируя аналитические данные.
Описание
- Создавайте и поддерживайте конвейеры загрузки данных из ERP-систем, систем контроля качества и производства, порталов, электронных таблиц и других источников.
- Оркестрируйте извлечение данных, планирование задач и обработку сбоев с помощью Apache Airflow.
- Применяйте слои Bronze, Silver и Gold архитектуры Medallion: храните необработанные данные в Cloud Storage и моделируйте их в BigQuery.
- Моделируйте бизнес-сущности и общие справочные данные, включая клиентов, продукты и третьих лиц.
- Поддерживайте семантический слой, используемый дашбордами.
- Сверяйте данные в хабе с исходными системами для обеспечения качества и согласованности.
- Подготавливайте сущности слоя Gold для моделей ИИ и машинного обучения.
- Управляйте версиями кода и развертываниями в средах разработки, тестирования и промышленной эксплуатации.
- Отслеживайте выполнение конвейеров и устраняйте сбои, стремясь к работе без ручного вмешательства.
- Документируйте конвейеры, модели данных и технические решения.
- Помогайте обучать команду клиента на заключительном этапе проекта.
- Участвуйте в еженедельных обзорах и проверяйте результаты вместе с бизнес-командами.
- Работайте вместе с коллегами из архитектуры и науки о данных в междисциплинарной команде над созданием централизованного узла данных в Google Cloud для крупной компании по производству строительных материалов.
Требования
- Не менее 5 лет опыта работы инженером данных в облачных проектах.
- Не менее 3 лет опыта работы с Google Cloud, особенно с BigQuery и Cloud Storage.
- Не менее 3 лет опыта оркестрации конвейеров с помощью Apache Airflow.
- Уверенное владение SQL и экспертиза в моделировании аналитических данных, не менее 5 лет опыта.
- Не менее 4 лет опыта использования Python для создания конвейеров данных.
- Знание архитектуры Medallion и ее слоев Bronze, Silver и Gold.
- Опыт интеграции данных из различных источников, включая ERP-системы, API, файлы и электронные таблицы.
- Опыт контроля версий и развертывания кода в разных средах.
- Сертификаты Google Cloud будут преимуществом.
- Опыт извлечения данных из корпоративных ERP-систем будет преимуществом.
- Знание налоговых, финансовых или промышленных данных будет преимуществом.
- Опыт подготовки данных для моделей машинного обучения будет преимуществом.
- Опыт работы в консалтинговых проектах будет преимуществом.
- Обязателен практический опыт работы с Google Cloud (BigQuery и Cloud Storage), Apache Airflow, SQL и Python.
Преимущества
- Возможности для непрерывного профессионального развития.
- Удаленная работа.
- Компания стремится к инклюзивности людей с инвалидностью и приглашает их подавать заявки.
Похожие вакансии
Вакансии не найдены
Попробуйте изменить или сбросить фильтры, чтобы найти больше вакансий.