
시니어 데이터 엔지니어(Databricks)
Ellis Porter의 이민 법률 업무와 책임 있는 AI 이니셔티브를 위한 Databricks 파이프라인, 거버넌스 및 플랫폼 운영을 이끕니다. 법률사무소 전반의 팀에 신뢰할 수 있는 데이터 제품을 구축합니다.
설명
- Ellis Porter 업무 시스템의 데이터를 가져오는 Databricks 수집 파이프라인을 구축하고 유지합니다.
- 데이터 품질 검사를 자동화하고 데이터 소스를 대조하여 누락되거나 부정확하거나 중복된 레코드를 찾습니다.
- 실버 및 골드 데이터 계층을 설계하고 구축합니다.
- 보고, 시스템 간 매칭, 신원 확인에 사용할 거버넌스가 적용된 데이터 제품을 제공합니다.
- 작업 예약, 모니터링, 알림, 데이터 최신성, 액세스 제어, 비용 최적화 등 일상적인 플랫폼 운영을 관리합니다.
- 운영 절차서를 유지하고 복구 절차를 테스트하며 플랫폼 지원 지식을 문서화합니다.
- Azure DevOps를 사용해 CI/CD 파이프라인과 개발, 테스트, 프로덕션 환경의 배포를 관리합니다.
- 데이터 플랫폼 외부의 Azure 인프라 요구 사항과 관련해 Ellis Porter의 IT 공급업체와 협력합니다.
- 기록 시스템을 보호하고 적절한 사용자 액세스를 적용하며 배포 전에 라이선스 및 플랫폼 제약을 확인합니다.
- 비즈니스 이해관계자와 협력해 요구 사항을 실용적이고 신뢰할 수 있는 데이터 솔루션으로 전환합니다.
- 민감한 고객 및 사건 데이터에 대해 기밀 유지, 보존, 최소 권한 액세스 및 감사 통제를 수립하고 적용합니다.
- 데이터 마스킹, 평가 데이터 세트, 사람의 승인을 활용해 범위가 정해진 AI 및 파트너 파일럿을 지원합니다.
- 기존 Databricks 플랫폼을 평가하고 개선 방안을 찾아 데이터 조직의 성장을 지원합니다.
- 데이터 서비스 및 제품 관리자와 비즈니스, 애플리케이션, IT, 보안 이해관계자들과 함께 아키텍처 및 자체 구축과 구매 간의 의사 결정을 논의합니다.
- 경영진이 지정하는 기타 업무를 수행합니다.
지원 자격
- 컴퓨터 과학, 공학 또는 관련 분야의 학사 또는 석사 학위, 혹은 이에 상응하는 실무 경험.
- 데이터 엔지니어링 경력 4년 이상.
- 프로덕션 환경에서 Databricks 솔루션을 구축하고 운영한 실무 경험 2년 이상.
- Unity Catalog로 관리되는 Delta 테이블에서 다중 작업 Lakeflow Jobs를 사용한 경험.
- 선언형 Automation Bundles(구 Databricks Asset Bundles) 또는 이에 준하는 코드형 인프라 배포 경험을 우대합니다.
- 직접 구축한 프로덕션 파이프라인의 설계 선택, 장애 및 운영상의 어려움을 설명할 수 있어야 합니다.
- 비기술 파트너와 명확히 소통하고 엔지니어링 의사 결정을 비즈니스 영향과 연결할 수 있어야 합니다.
- pytest를 활용한 테스트와 패키징을 포함해 Python을 능숙하게 다뤄야 합니다.
- PySpark 경험을 우대합니다.
- BI 도구에 거버넌스가 적용된 데이터 세트를 제공하는 역량을 포함해 SQL 및 차원 모델링 능력이 뛰어나야 합니다.
- 페이지네이션, 요청 한도, 스키마 변경, 자격 증명 교체 처리를 포함한 REST API 및 SaaS 수집 파이프라인 구축 경험.
- Git 기반 CI/CD 워크플로 경험.
- Azure DevOps 경험이 있으면 우대합니다.
- AI 지원 개발 도구 사용 경험이 있으며 배포 전에 생성된 코드를 검토, 테스트 및 검증할 수 있어야 합니다.
- Lakeflow 파이프라인, 관리형 커넥터, 엔터티 해석 또는 레코드 연결 경험이 있으면 우대합니다.
- 데이터 플랫폼용 Azure 리소스 관리 경험이 있으면 우대하며, 코드형 인프라 경험을 선호합니다.
- 모든 업무는 미국 내에서 수행해야 합니다.
복리후생
- 영감을 주는 사명을 지원하며 도전적이고 다채로우며 보람 있는 업무를 수행할 기회.
- 지적이고 창의적이며 헌신적인 이민 전문가들과 함께 일하며, 서로 존중하고 협력하는 관계를 중요하게 여기는 팀에 합류합니다.
- 다양한 관점, 배경, 정체성 및 경험을 존중하는 포용적인 법률사무소 문화.
- 원격 근무 기회를 포함한 사람 중심의 직장 정책과 유연한 일정.
- 경쟁력 있는 보상.
- 건강, 치과, 안과 및 생명 보험.
- 고용주 매칭이 제공되는 401(k) 퇴직 저축 플랜.
- 넉넉한 유급 휴가.
- Troy 또는 Ann Arbor 사무실에 출근하는 직원은 캐주얼 복장으로 근무할 수 있습니다.
- Troy 또는 Ann Arbor 사무실에 출근하는 직원에게 무료 음식이 제공됩니다.
- Troy 또는 Ann Arbor 사무실에 출근하는 직원은 정기적으로 세계 각국의 음식과 문화를 경험할 수 있습니다.








