State Street는 투자 관리 및 투자 서비스 솔루션을 통해 기관 투자자에게 서비스를 제공하는 글로벌 금융 서비스 기업입니다. 자산 관리, 수탁 서비스, 투자 리서치 등을 제공하며 금융, 핀테크, 은행 업무 전반의 전문성을 갖추고 있습니다. 또한 데이터, 인사이트, 운영 역량을 바탕으로 고객이 복잡한 투자 활동을 관리하고 효율성을 높이며 재무 의사결정을 지원할 수 있도록 돕습니다.
데이터 엔지니어, 부사장보 - 프린스턴, 뉴저지
AWS 및 Databricks 레이크하우스 플랫폼을 구축하여 State Street의 법무 및 컴플라이언스 운영을 지원합니다. 분석, 보고 및 AI/ML 애플리케이션을 위한 거버넌스 데이터 파이프라인을 개발합니다.
설명
- PySpark, Python 및 Spark SQL을 사용해 확장 가능한 데이터 파이프라인을 구축하고 유지합니다
- Delta Lake를 사용해 Databricks ETL/ELT 워크플로를 개발하고 최적화합니다
- 엔터프라이즈 데이터 플랫폼을 위한 Bronze, Silver 및 Gold 레이크하우스 아키텍처를 구현합니다
- 배치 및 스트리밍 워크로드를 위한 Databricks Jobs, Workflows 및 Notebooks를 관리합니다
- 데이터 수집, 처리 및 오케스트레이션을 위한 재사용 가능한 프레임워크를 만듭니다
- Docker로 데이터 워크로드를 컨테이너화하고 스크립팅을 통해 프로세스를 자동화합니다
- Databricks 파이프라인을 Power Apps 및 Power Automate와 연결합니다
- API, 커넥터 및 큐레이션된 데이터 세트를 통해 비즈니스 사용자에게 데이터를 제공합니다
- Databricks 레이크하우스 아키텍처를 설계하고 최적화합니다
- SQL Server, Oracle 및 기타 엔터프라이즈 데이터 소스를 통합합니다
- 차원 모델링, 파티셔닝 및 최적화 방법을 적용합니다
- JSON 및 Parquet를 포함한 구조화·반구조화 형식을 처리합니다
- 캐싱, 인덱싱 및 Spark 최적화를 통해 성능을 개선합니다
- Power BI, Power Apps 및 Power Automate 워크플로를 위한 큐레이션된 데이터 세트를 게시합니다
- 단위 테스트, 검증 프레임워크 및 자동화된 검사를 통해 데이터 품질을 유지합니다
- 분산 Spark 워크로드와 파이프라인을 모니터링하고 문제를 해결합니다
- 로그를 조사하고 Databricks 및 클라우드 환경 전반의 프로덕션 문제를 해결합니다
- 데이터 계보, 일관성 및 감사 준비 상태를 유지합니다
- 법무, 보안, 컴플라이언스 및 엔터프라이즈 데이터 팀과 협업합니다
- 비즈니스 요구사항을 데이터 엔지니어링 솔루션으로 전환합니다
- Databricks 및 레이크하우스 아키텍처 분야의 주제 전문가로 활동합니다
- 이니셔티브를 독립적으로 주도하고 산출물에 대한 책임을 집니다
- Databricks Unity Catalog와 AWS IAM 및 KMS 통제를 통해 거버넌스를 지원합니다
- 데이터 개인정보 보호, 규제, 보안 및 감사 요구사항을 충족합니다
- 접근 제어와 데이터 분류 및 처리 표준을 유지합니다
- IAM 및 보안 팀과 협력하여 데이터 액세스를 보호합니다
- Harness, Azure DevOps 또는 GitHub를 사용해 CI/CD 파이프라인을 설계하고 유지합니다
- Databricks Repos 및 CLI로 Databricks 자산 배포를 자동화합니다
- Databricks 오케스트레이션 도구로 워크플로를 모니터링, 예약 및 최적화합니다
- 아키텍처, 데이터 흐름 및 런북 문서를 유지합니다
- 플랫폼 성능, 확장성 및 비용 효율성을 개선합니다
지원 자격
- 컴퓨터 과학, 데이터 엔지니어링, 정보 시스템 또는 관련 기술 분야의 학사 또는 석사 학위
- 데이터 엔지니어링 또는 데이터 플랫폼 개발 경력 8년 이상
- Databricks 및 Apache Spark 실무 전문성
- PySpark, Python 및 SQL 숙련도
- S3, Glue, Lambda 및 IAM을 포함한 AWS 데이터 서비스 경험
- Delta Lake 및 레이크하우스 아키텍처 경험
- 분산 데이터 처리에 대한 높은 수준의 지식
- ETL 및 ELT 프레임워크에 대한 높은 수준의 지식
- 데이터 모델링 기법에 대한 높은 수준의 지식
- Delta Lake, Workflows 및 Unity Catalog와 같은 Databricks 구성요소의 실무 경험
- AWS와 Databricks를 사용해 엔드투엔드 배치 및 스트리밍 파이프라인을 구축한 풍부한 경험
- Spark 및 Delta Lake 성능 최적화에 대한 이해
- 레이크하우스 플랫폼에서 분석, 보고 또는 AI/ML 워크로드를 지원한 경험
- 데이터 거버넌스, 메타데이터 관리 및 보안 통제에 대한 지식
- 법무, 컴플라이언스, 금융 서비스 또는 기타 규제 산업 경험
- 계약, 조항, 의무 및 사안을 포함한 법률 데이터 개념에 대한 이해
- 비정형 데이터 처리 또는 문서 및 NLP 파이프라인 경험
- Power BI, Power Apps 또는 Power Platform 경험
- 감사 중심 환경에서 민감한 데이터를 관리한 경험
복리후생
- 회사 매칭이 포함된 401(k) 퇴직 저축 플랜
- 기본 생명보험, 의료, 치과, 안과, 장기 장애 및 기타 선택형 보장을 포함한 보험 옵션
- 휴가, 병가, 단기 장애 및 가족 돌봄 책임을 포함한 유급 휴가
- 직원 지원 프로그램
- 연간 성과 기반 보상 대상 자격을 포함한 인센티브 보상
- 일부 세제 혜택 저축 플랜 가입 자격
- 포용적인 전문성 개발 기회
- 유연한 일과 삶 지원
- 유급 자원봉사일
- 직원 네트워크