
시니어 Databricks 데이터 엔지니어, 부사장 — State Street(퀸시, 하이브리드 근무)
State Street 금융 서비스 플랫폼을 위한 Azure 및 Databricks 데이터 파이프라인을 구축합니다. 애자일 팀의 일원으로 ETL, 데이터 품질, 고처리량 프레임워크를 개발합니다.
설명
- Azure와 Cosmos DB를 사용해 스트리밍, 이벤트 기반, 배치 수집을 위한 엔드투엔드 클라우드 데이터 파이프라인을 구축하고 테스트합니다.
- 데이터 레이크로 데이터를 수집, 변환, 적재하는 ETL 프로세스를 만듭니다.
- 엔지니어링 업무에 Databricks 및 데이터 웨어하우징 개념을 적용합니다.
- 고처리량을 고려한 구성 가능한 프레임워크와 라이브러리를 만듭니다.
- 협업하고 이해관계자에게 영향력을 발휘하며 개념 증명을 제시해 변화를 추진합니다.
- 설계와 코딩부터 통합 테스트, 배포, 문서화까지 소프트웨어 개발 수명 주기 전반에 참여합니다.
- 애자일 프로젝트 팀 동료들과 협업합니다.
- 확립된 엔지니어링 관행과 코딩 표준을 적용합니다.
- 데이터 파이프라인을 모니터링하고 문제를 해결합니다.
- 정확성을 유지하기 위해 데이터 품질 검사와 검증을 추가합니다.
- 데이터를 분석하고 데이터 세트를 탐색합니다.
- 전문 역량을 계속 개발합니다.
지원 자격
- 컴퓨터 과학, 정보 기술 또는 관련 분야의 학사 학위.
- 빅데이터 파이프라인 경력 10년 이상.
- Databricks 실무 경험 5년 이상.
- Azure 서비스, Azure DevOps, Kubernetes, Docker를 포함한 클라우드 플랫폼 개발 경력 5년 이상.
- 마이크로서비스 아키텍처 및 클라우드 컴퓨팅 경험. Azure 경험 우대.
- Databricks, Delta Lake, Apache Spark를 능숙하게 다룰 수 있는 역량.
- Databricks SQL 및 Scala 개발 실무 경험.
- 클러스터와 작업을 포함한 Databricks 리소스에 대한 깊은 이해.
- ADO와 Harness를 포함한 DevOps 파이프라인 문제 해결 실무 경험이 풍부한 분.
- Git과 같은 버전 관리 도구 사용 경험.
- Avro, JSON, XML과 같은 반정형 형식 데이터 작업 경험.
- 셸 스크립팅, UNIX, TOAD, SQL Developer에 대한 기본 지식.
- 문서 및 구두 커뮤니케이션 능력이 뛰어난 분.
- 금융 서비스 업계 경험.
- 애자일 개발 방법론 경험.
- Snowflake 경험 우대.
복리후생
- 회사 매칭이 포함된 401(k) 퇴직 저축 플랜.
- 기본 생명보험, 의료, 치과, 안과, 장기 장애 보험 및 기타 선택형 보장 등 다양한 보험 옵션.
- 휴가, 병가, 단기 장애 휴가 및 가족 돌봄 관련 휴가를 포함한 유급 휴가.
- 직원 지원 프로그램.
- 연간 성과 기반 인센티브 보상 대상 자격.
- 일부 세제 혜택 저축 플랜 가입 자격.
- 포용적인 전문성 개발 기회.
- 일과 삶의 유연성을 지원합니다.
- 자원봉사를 위한 유급 휴가.
- 직원 네트워크.



