시니어 데이터 엔지니어 - Databricks 및 AWS (원격)
연방 정부 계약 업무를 위한 확장 가능한 Databricks 및 AWS 데이터 파이프라인을 구축합니다. FISMA High 및 멀티테넌트 규정 준수 기준을 충족하면서 분석에 바로 사용할 수 있는 데이터를 제공합니다.
설명
- AWS에서 호스팅되는 Databricks E2 환경에서 확장 가능한 데이터 파이프라인을 구축하고 유지 관리합니다
- 관계형 데이터베이스, API, 외부 제공업체 및 실시간 스트림에서 데이터를 수집합니다
- 분석 및 보고를 위해 데이터를 정제, 변환, 집계하는 파이프라인을 생성합니다
- Databricks 메달리온 아키텍처에서 Bronze, Silver 및 Gold 계층을 개발하고 관리합니다
- 소스-대상 매핑을 작성하고 단위 테스트를 수행합니다
- 고급 SQL 집계를 작성하고 데이터 이상, 품질 문제 및 불일치를 조사합니다
- AWS DMS 및 기타 AWS 네이티브 서비스를 사용해 실시간 및 준실시간 수집을 구현합니다
- Python 또는 R, Spark, PySpark 및 Pandas로 처리 솔루션을 개발합니다
- GitLab 및 CI/CD 파이프라인을 통해 코드, 버전 관리 및 배포를 관리합니다
- 애자일 제공 환경에서 여러 기능 팀과 협업합니다
- FISMA High 및 멀티테넌트 보안, 거버넌스와 규제 요건을 준수합니다
- AI 자동화 도구를 사용해 파이프라인 개발, 테스트, 검증 및 제공을 지원합니다
지원 자격
- 데이터 엔지니어 또는 Databricks 개발자로서 프로덕션 데이터 파이프라인을 구축한 실무 경험
- E2 아키텍처, 클러스터 구성, 작업 오케스트레이션 및 워크스페이스 관리를 포함한 AWS 기반 Databricks에 대한 높은 수준의 이해
- Apache Spark, PySpark 및 Pandas를 사용한 대규모 분산 데이터 처리 실무 경험
- 뛰어난 Python 프로그래밍 능력; R 경험은 우대
- 확장 가능한 증분 파일 수집을 위해 Databricks Auto Loader를 사용한 경험
- 변경 데이터 캡처 및 실시간 복제를 위해 AWS Database Migration Service를 사용한 실무 경험
- 스키마 진화, 타임 트래블, OPTIMIZE, Z-ORDER 및 VACUUM을 포함한 Delta Lake와 Delta 테이블에 대한 높은 숙련도
- Amazon RDS 및 기타 관계형 소스를 추출·통합 워크플로에 사용한 경험
- 복잡한 조인, 윈도 함수, 집계 및 쿼리 성능 튜닝을 포함한 고급 SQL 역량
- 메달리온 아키텍처와 최신 데이터 레이크하우스 원칙에 대한 이해
- 데이터 엔지니어링 코드의 자동 테스트, 빌드 및 배포에 GitLab과 CI/CD 파이프라인을 사용한 경험
- 애자일 또는 Scrum 프로젝트에 참여한 경험
복리후생
- 경쟁력 있는 보상
- 의료, 치과, 안과, 생명 및 장애 보험
- 선택 가능한 중대 질병, 입원 및 사고 보험
- 건강 저축 계좌 및 유연 지출 계좌
- 401(k) 퇴직연금
- 유급 휴가 제도
- 유연한 일과 삶의 균형
- 전문성 개발 기회
- 성과 및 포상 프로그램
- 협력적인 근무 환경
- 세네카 네이션 구성원을 위한 금전적 및 비금전적 복리후생
