수석 데이터 엔지니어 - 마라톤 페트롤리엄, 샌안토니오, 텍사스주
마라톤 페트롤리엄의 운영을 지원하는 확장 가능한 Azure 데이터 파이프라인과 클라우드 솔루션 설계를 주도합니다. 데이터 아키텍처를 구축하고 거버넌스와 보안을 강화하며 다른 엔지니어를 멘토링합니다.
설명
- 확장 가능한 데이터 파이프라인과 클라우드 기반 데이터 솔루션을 구축하고 개선하며 최적화합니다
- 데이터 엔지니어링 이니셔티브 전반에 Azure Data Lake, Synapse Analytics, Azure Functions 및 Databricks를 적용합니다
- 분석, 제품, 아키텍처, 거버넌스 및 비즈니스 이해관계자와 협력하여 요구사항을 확장 가능한 솔루션으로 전환합니다
- 데이터 추출, 수집 및 변환 워크플로를 설계하고 개선합니다
- 복잡하고 대용량인 데이터 세트를 위한 데이터 아키텍처를 개발합니다
- 데이터 보안 및 개인정보 보호 통제를 적용하면서 정교한 데이터 파이프라인을 제공합니다
- 오픈 소스 및 클라우드 기술을 활용해 복잡한 데이터 품질 및 처리 작업을 수행합니다
- 중요 인시던트 발생 시 전문 기술 지원을 제공합니다
- 신뢰할 수 있는 데이터 통합을 유지하기 위해 부서 간 조율합니다
- 일관성과 엔지니어링 표준을 장려하면서 데이터 처리 관행을 지속적으로 개선합니다
- 복잡한 데이터 문제를 해결하고 전략적 데이터 인프라 계획에 기여합니다
- 데이터 솔루션의 품질 보증 및 테스트 활동을 주도합니다
- 경험이 적은 데이터 엔지니어를 코칭하고 지원합니다
- 기술 검토를 통해 엔지니어링 표준, 재사용 가능한 패턴 및 솔루션 설계의 정의를 지원합니다
지원 자격
- 정보 기술 또는 관련 분야의 학사 학위가 필요합니다
- 관련 데이터 엔지니어링 경력이 5년 이상 필요합니다
- Azure Data Factory 및/또는 Databricks Workflows를 포함한 Python, SQL, Spark 및 오케스트레이션 도구에 대한 뛰어난 역량
- Hadoop 및 Spark와 같은 빅데이터 기술과 분산 컴퓨팅 프레임워크 경험
- AWS, Azure 또는 Google Cloud Platform 전반의 클라우드 데이터 플랫폼 및 관련 서비스에 대한 지식
- 데이터 거버넌스 정책, 절차 및 표준을 수립하고 관리하는 능력
- ETL 프로세스, 파이프라인 및 수집 프레임워크를 통한 데이터 통합 경험
- 확장 가능한 데이터 모델을 설계하고 구현하는 능력
- 전체 데이터 수명 주기에 걸친 데이터 운영에 대한 이해
- 데이터 개인정보 보호 관행을 적용하고 액세스 권한 및 동의 프로토콜을 관리하는 능력
- 데이터 품질 차원, 방법론 및 모범 사례에 대한 높은 수준의 지식
- 데이터 개인정보 보호 규정, 사이버 보안 관행 및 데이터 보안 기술에 대한 지식
- 모니터링 및 관측 가능성 도구와 관행에 대한 이해
- DevOps 방법론에 대한 이해
- 일반적인 프로그래밍 역량
- 메타데이터 관리 솔루션 경험
- NoSQL 데이터베이스에 대한 지식
- 실시간 데이터 처리에 대한 지식
복리후생
- 의료, 안과 및 치과 보장
- 유급 휴가
- 401(k) 매칭
- 유급 육아 휴가
- 교육비 지원
- 회사 재량에 따른 연간 보너스