Databricks 시니어 리드 데이터 엔지니어
Booz Allen Hamilton의 정부 고객을 위해 AWS에서 확장 가능한 Databricks 데이터 파이프라인과 모델 개발을 주도합니다. 기술팀을 직접 이끌고 멘토링하며 안전한 데이터 처리를 지원합니다.
설명
- Databricks에서 안정적인 데이터 파이프라인을 구축하고 유지합니다.
- 엔드투엔드 데이터 흐름을 개발하고 개선합니다.
- 추출, 변환, 적재(ETL) 작업을 관리합니다.
- 데이터 모델, 스키마 및 효율적인 데이터 구조를 만듭니다.
- 데이터를 보호하고 규정 준수 요건을 지원합니다.
- 다양한 분야의 팀과 협업합니다.
- 데이터 처리 속도와 확장성을 지속적으로 높입니다.
- 분석가, 데이터 엔지니어, 개발자 및 데이터 사용자를 이끌고 멘토링합니다.
- 확장 가능한 고객 플랫폼의 평가, 설계, 개발 및 유지 관리를 총괄합니다.
- 데이터를 탐색하고 분석해 실행 가능한 인사이트를 도출합니다.
지원 자격
- 포괄적인 로깅과 견고한 오류 처리를 갖춘 ETL 프로세스 및 데이터 파이프라인을 설계, 개발, 배포, 관리한 경력이 8년 이상이어야 합니다.
- Databricks 노트북, 클러스터 및 작업 오케스트레이션 도구를 사용해 데이터 파이프라인을 구축, 디버깅, 최적화한 경력이 3년 이상이어야 합니다.
- Delta Lake, Databricks Delta 및 Unity Catalog 관련 경험이 있어야 합니다.
- ETL 스크립트와 사용자 지정 변환을 위해 Python 및 PySpark를 사용한 경력이 3년 이상이어야 합니다.
- 메달리온 아키텍처에서 차원 모델과 관계형 데이터 모델을 만든 경험이 있어야 합니다.
- AWS Glue, Amazon S3 및 Amazon RDS 사용 경험이 있어야 합니다.
- 파티셔닝, 버킷팅, 캐싱을 포함한 ETL 성능 최적화 지식이 있어야 합니다.
- 스키마 정의부터 데이터 구조 최적화까지 데이터 모델을 설계할 수 있어야 합니다.
- Public Trust(공공 신뢰) 요건을 충족해야 합니다.
- 컴퓨터 과학, 컴퓨터 공학, 공학, 수학, 물리학, 정보 시스템 또는 정보 기술 분야의 학사 학위가 있어야 합니다.
- 최종 후보자는 정부 조사를 받으며 미국 정부 고객이 정한 자격 요건을 충족해야 할 수 있습니다.
- Public Trust(공공 신뢰) 판정이 필요합니다.
복리후생
- 건강보험 보장.
- 생명보험 혜택.
- 장애 관련 혜택.
- 재정 혜택.
- 퇴직 혜택.
- 유급 휴가.
- 전문성 개발 기회.
- 학비 지원.
- 일과 삶을 지원하는 프로그램.
- 부양가족 돌봄 혜택.
- 탁월한 성과와 회사 가치 실천을 인정하는 포상.