Marathon Petroleum Corporation — энергетическая компания, работающая в сфере нефтепереработки, транспортировки и хранения сырья и нефтепродуктов, а также розничной торговли. В её перерабатывающую сеть входят 13 нефтеперерабатывающих заводов в США, совокупная заявленная мощность которых позволяет перерабатывать до 3 миллионов баррелей сырой нефти в день. Компания также развивает производство возобновляемого топлива наряду с традиционными направлениями энергетического бизнеса, уделяя внимание повышению энергоэффективности и сокращению выбросов углерода.
Ведущий инженер по данным — Marathon Petroleum, Сан-Антонио, Техас
Руководите созданием масштабируемых конвейеров данных Azure и облачных решений для поддержки операций Marathon Petroleum. Формируйте архитектуру данных, укрепляйте управление данными и безопасность, наставляйте других инженеров.
Описание
- Создавать, улучшать и оптимизировать масштабируемые конвейеры данных и облачные решения на основе данных
- Применять Azure Data Lake, Synapse Analytics, Azure Functions и Databricks в проектах по инженерии данных
- Взаимодействовать со специалистами по аналитике, продукту, архитектуре, управлению данными и бизнесом для преобразования требований в масштабируемые решения
- Проектировать и улучшать процессы извлечения, загрузки и преобразования данных
- Разрабатывать архитектуру данных для сложных наборов данных большого объёма
- Создавать сложные конвейеры данных с применением средств защиты данных и обеспечения конфиденциальности
- Выполнять сложные задачи по качеству и обработке данных с использованием открытых и облачных технологий
- Оказывать специализированную техническую поддержку во время критических инцидентов
- Координировать работу между подразделениями для поддержания надёжной интеграции данных
- Постоянно совершенствовать методы обработки данных, продвигая единообразие и инженерные стандарты
- Решать сложные задачи, связанные с данными, и участвовать в стратегическом планировании инфраструктуры данных
- Руководить обеспечением качества и тестированием решений для работы с данными
- Обучать и поддерживать менее опытных инженеров по данным
- Помогать определять инженерные стандарты, повторно используемые шаблоны и проектные решения посредством технических проверок
Требования
- Требуется степень бакалавра в области информационных технологий или смежной дисциплине
- Требуется не менее пяти лет соответствующего опыта в инженерии данных
- Уверенное владение Python, SQL, Spark и инструментами оркестрации, включая Azure Data Factory и/или Databricks Workflows
- Опыт работы с технологиями больших данных и платформами распределённых вычислений, такими как Hadoop и Spark
- Знание облачных платформ данных и связанных сервисов AWS, Azure или Google Cloud Platform
- Умение разрабатывать и администрировать политики, процедуры и стандарты управления данными
- Опыт интеграции данных с помощью процессов ETL, конвейеров и фреймворков загрузки
- Способность проектировать и внедрять масштабируемые модели данных
- Понимание операций с данными на протяжении всего жизненного цикла данных
- Умение применять методы защиты конфиденциальности данных и управлять правами доступа и протоколами согласия
- Глубокое знание измерений, методов и лучших практик качества данных
- Знание нормативных требований к конфиденциальности данных, практик кибербезопасности и методов защиты данных
- Знакомство с инструментами и практиками мониторинга и наблюдаемости
- Понимание методов DevOps
- Общие навыки программирования
- Опыт работы с решениями для управления метаданными
- Знание баз данных NoSQL
- Знание обработки данных в реальном времени
Преимущества
- Медицинская, офтальмологическая и стоматологическая страховка
- Оплачиваемый отпуск
- Соответствующие взносы работодателя в план 401(k)
- Оплачиваемый отпуск по уходу за ребёнком
- Компенсация расходов на образование
- Ежегодный дискреционный бонус за счёт компании