
시니어 데이터 엔지니어 – Databricks(인도 원격)
인도에서 Oportun의 금융 서비스 운영을 위한 안전한 Databricks 데이터 제품과 레이크하우스 인프라를 주도합니다. 아키텍처, 프로덕션 파이프라인, 거버넌스, 통합, 회원 커뮤니케이션 데이터를 담당합니다.
설명
- 대상자 선정, 자격, 선호도, 동의, 캠페인 입력, 전달 데이터 및 운영 보고를 위한 안전하고 확장 가능한 데이터 제품을 구축하고 운영한다.
- 데이터 모델, 계약, 계보 및 소유권 표준을 포함한 안전한 데이터 아키텍처를 정의한다.
- 기술 조사와 설계부터 프로덕션 릴리스까지 복잡한 데이터 엔지니어링 이니셔티브를 담당한다.
- 엔지니어와 이해관계자를 조율하고 종속성, 위험 및 기술적 의사결정을 관리한다.
- Databricks, Apache Spark, PySpark, Spark SQL, Delta Lake 및 SQL을 사용해 프로덕션 파이프라인과 통합을 개발하고 최적화한다.
- 적절한 레거시 데이터 워크로드를 현대화한다.
- 데이터 로딩, 조정, 재시도, 멱등성, 복구 및 배포를 위한 안정적인 패턴을 구현한다.
- 성능, 무결성, 가용성 및 보안을 위해 레이크하우스와 운영 데이터 자산을 유지 관리한다.
- 검증, 모니터링, 알림, 대시보드, 런북 및 계보를 통해 데이터 품질과 거버넌스 제어를 수립한다.
- 개인 식별 정보, 동의, 선호도, 억제, 보존 및 접근 제어와 관련해 개인정보 보호, 컴플라이언스, 리스크 및 보안 팀과 협업한다.
- 설계 리뷰와 코드 리뷰를 통해 기술 방향을 제시하고 주니어 엔지니어를 멘토링하며 복잡한 프로덕션 조사를 이끈다.
- 인시던트의 근본 원인을 추적하고 지속적인 시정 솔루션을 제공한다.
- 제품, 커뮤니케이션, 분석, 엔지니어링, 리스크, 개인정보 보호, 컴플라이언스 및 기타 파트너와 협업한다.
- 자동화 테스트, CI/CD, 출시 계획 및 출시 후 측정을 통해 릴리스를 준비한다.
- 파이프라인 성능, 품질, 적시성, 비용 및 신뢰성을 추적한다.
- 반복 작업을 줄이고 엔지니어링 의사결정을 강화하기 위해 AI 도구를 신중하게 적용한다.
지원 자격
- 아키텍처, 파이프라인, 플랫폼, 데이터베이스 또는 레이크하우스 운영을 아우르는 6년 이상의 데이터 엔지니어링 경력.
- 컴퓨터 과학, 데이터 과학, 공학 또는 관련 분야의 학사 또는 석사 학위, 혹은 이에 상응하는 실무 경험.
- Python, PySpark 및 SQL을 고급 수준으로 실무에서 활용할 수 있는 능력.
- 검증된 리더십, 분석적 문제 해결 능력, 건전한 판단력 및 명확한 커뮤니케이션 능력.
- Databricks, Apache Spark, Spark SQL, Delta Lake, 워크플로 오케스트레이션, CI/CD, Git 워크플로, 자동화 테스트 및 엔드투엔드 데이터 통합 또는 제품에 대한 프로덕션 경험.
- 데이터 품질, 옵저버빌리티, 알림, 계보 및 클라우드 서비스, 특히 AWS에 대한 경험.
- 접근 제어, 시크릿 관리, 암호화 및 감사 가능성을 통해 민감한 회원 데이터를 보호한 경험과 애자일 개발 경험.
- 금융 서비스, 대출, 마케팅 기술, 고객 커뮤니케이션 또는 기타 규제 산업에서의 경험.
- Unity Catalog 또는 유사한 거버넌스 플랫폼에 익숙하고 Java 또는 Scala를 사용할 수 있는 능력.
- ChatGPT 또는 Copilot과 같은 도구를 엔지니어링 생산성, 테스트, 문서화, 문제 해결, 데이터 품질 또는 운영 개선에 적용한 경험.
- AI 에이전트 또는 자동화에 대한 이해와 함께 보안, 개인정보 보호, 정확성 및 인간의 감독에 대해 신중하게 판단할 수 있는 능력.
복리후생
- 의료, 치과 및 안과 보험.
- 공제 기금.
- 생명 및 상해 보험.
- 인터넷 수당.
- 연료 수당.
- 식대 수당.
- 전화 수당.
- 신체적, 재정적 및 전문적 웰빙을 지원하도록 설계된 보상 및 복리후생 패키지.







