
EXL Databricks 기술 리드 — 첸나이, 하이브리드 근무
금융 범죄 플랫폼의 Databricks 레이크하우스 엔지니어링을 이끕니다. Delta Lake 파이프라인을 구축하고 개발·테스트·프로덕션 환경의 Unity Catalog를 관리합니다.
설명
- 개발·테스트·프로덕션 환경 전반에서 Databricks 워크스페이스, 클러스터, 컴퓨트 풀을 구축하고 유지 관리합니다.
- Unity Catalog 거버넌스, 액세스 제어, 세분화된 권한, 데이터 계보를 설정합니다.
- 클러스터 유형, 자동 확장, 스팟 또는 선점형 노드를 조정해 비용과 성능의 균형을 맞춥니다.
- Databricks Secrets, Azure Key Vault 또는 AWS Secrets Manager를 사용해 워크스페이스 구조, 액세스 제어, 시크릿 관리를 구축합니다.
- 종속성을 포함해 Databricks 작업, 워크플로, 다중 작업 오케스트레이션을 관리합니다.
- 파티셔닝과 Z-order를 적용한 Delta Lake 테이블을 설계하고 OPTIMIZE 및 VACUUM으로 파일을 압축합니다.
- Medallion Architecture를 사용해 구조화된 데이터 레이크를 Bronze, Silver, Gold 계층으로 구성합니다.
- 선언형 ETL/ELT와 내장 데이터 품질 기대값을 적용한 Delta Live Tables 파이프라인을 개발합니다.
- 증분 처리를 위해 스키마 변경, 테이블 버전, 타임 트래블, Change Data Feed를 처리합니다.
- Delta Lake를 Kafka, ADLS, S3, GCS와 연결하는 레이크하우스 패턴을 구축합니다.
- AML, KYC, CRA, 제재 심사, 거래 모니터링, 사기 탐지, 규제 보고를 포괄하는 금융 범죄 플랫폼용 Databricks 파이프라인을 구축합니다.
지원 자격
- 컴퓨터 과학, 정보 기술, 데이터 엔지니어링 또는 관련 분야의 학사 또는 석사 학위.
- 데이터 엔지니어링 또는 소프트웨어 엔지니어링 경력 8년 이상.
- 프로덕션 환경에서 Databricks를 직접 사용한 경력 3년 이상.
- 빅데이터 엔지니어링, 클라우드 데이터 플랫폼, 분산 컴퓨팅에 대한 탄탄한 기반.
- Databricks Workspaces, Clusters, Jobs, Workflows, Repos를 심층적으로 다룬 경험.
- 메타스토어 설정, 카탈로그·스키마·테이블 관리, 액세스 제어, 데이터 계보를 포함한 Unity Catalog 숙련도.
- Delta Live Tables 파이프라인 개발, 모니터링, 품질 기대값 설정에 대한 실무 경험.
- 트랜잭션 로그, ACID 보장, 파일 레이아웃, 최적화 방법을 포함한 Delta Lake 내부 구조에 대한 깊은 이해.
- Databricks SQL Warehouses, SQL Analytics, 대시보드 개발 경험.
- Databricks Photon 엔진, 서버리스 컴퓨팅, 비용 최적화에 대한 지식.
관련 채용공고


시니어 프론트엔드 엔지니어(Angular)
NeuronNeuron의 AI 서비스 해결 플랫폼에서 웹과 모바일 경험을 구현하는 프론트엔드 아키텍처를 주도합니다. 재사용 가능한 UI 컴포넌트, 통합, 성능 및 엔지니어 멘토링을 담당합니다.
열기


Spring Boot 마이크로서비스 개발자 – 푸네, 하이브리드 근무
CitiSpring Boot 마이크로서비스 기반의 씨티 금융 서비스 애플리케이션을 개발하고 지원합니다. 애플리케이션 보안 개선, 시스템 디버깅, 기술 이해관계자 자문도 담당합니다.
열기


