수석 데이터 아키텍트(Databricks 및 Azure)
Public Partnerships | PPLMedicaid 재정 관리 서비스를 지원하는 거버넌스 기반 Databricks 및 Azure 분석 플랫폼 설계를 주도합니다. 마스터 데이터 역량을 구축하고 참여자와 제공자 ID를 통합해 전국 규모로 규정을 준수하는 데이터 제품을 제공합니다.
열기
데이터 플랫폼 수석 엔지니어
Reality Defender의 딥페이크 탐지 연구를 뒷받침하는 Databricks 데이터 플랫폼을 이끕니다. 재현 가능한 멀티모달 데이터셋과 확장 가능한 합성 데이터 생성 파이프라인을 구축합니다.
설명
- AI 연구를 위한 전체 데이터 플랫폼을 이끕니다. 지속적인 수집과 전처리부터 대용량 이미지, 동영상, 오디오, 텍스트 데이터의 거버넌스와 내보내기까지 담당합니다.
- Databricks lakehouse와 분산 처리 스택을 확장하고 규모를 키웁니다.
- 데이터가 늘어남에 따라 아키텍처와 자체 구축 또는 구매 결정을 이끕니다.
- 여러 모달리티의 합성 데이터를 사내에서 생성할 수 있는 재사용 가능한 인프라를 개발합니다.
- 데이터셋 버전 관리, 계보, 메타데이터, 품질 검사, 일관된 학습 및 평가 데이터 분할을 구축합니다.
- 파이프라인의 안정성, 관측 가능성, 데이터셋별 처리 비용을 책임집니다.
- ML 연구자와 협력해 모델 개발을 가속하는 셀프서비스 도구를 만듭니다.
- 엔지니어를 멘토링하고 코드 리뷰, 테스트, 문서화, 운영 지침을 강화합니다.
- 보안 및 컴플라이언스 팀과 협력해 데이터 처리, 라이선스, 접근 제어를 조율합니다.
- 엔지니어링 및 연구 리더와 함께 장기 데이터 플랫폼 로드맵을 수립합니다.
- 데이터 디렉터에게 보고합니다.
- 입사 후 첫 12개월 안에 성숙한 셀프서비스 플랫폼을 이끌고, 합성 데이터 생성을 확장하며, 재현 가능한 평가 데이터셋을 제공하고, 영향력 높은 로드맵 과제를 추진합니다.
지원 자격
- 데이터 플랫폼 또는 인프라 구축 경력 8년 이상이며, 대량 데이터의 생성, 수집 또는 전달을 위한 프로덕션 파이프라인을 수석 또는 리드급으로 맡은 경험이 있어야 합니다.
- Spark 또는 Ray 같은 분산 처리 도구와 lakehouse 플랫폼을 폭넓게 실무에서 다뤄야 합니다. Databricks 경험을 우대하며, S3, GCS, Azure Blob 같은 클라우드 객체 스토리지를 사용한 경험이 있어야 합니다.
- Databricks, Unity Catalog, Delta Lake 및 AWS의 Spark 프로덕션 운영 경험이 있고, 성능 튜닝, 접근 제어, 운영 문제 해결을 할 수 있어야 합니다.
- 동영상, 오디오, 이미지 등 대규모 비정형 미디어를 다룬 경험이 있어야 하며 대용량 파일, 디코딩, 트랜스코딩, 대규모 메타데이터 처리가 포함됩니다.
- 버전 관리, 계보, 데이터 품질 검증, Airflow, Dagster 또는 Databricks Workflows 같은 도구를 사용한 오케스트레이션으로 재현 가능한 ML 데이터셋을 만든 실적이 있어야 합니다.
- Python과 SQL에 능숙해야 합니다.
- 판단력이 뛰어나고 소규모 팀에서 불명확한 플랫폼 과제를 처음부터 끝까지 주도적으로 맡을 수 있어야 합니다.
- Terraform과 CI/CD를 사용해 인프라와 배포를 자동화한 경험이 있어야 하며 AWS 스토리지, IAM, 컴퓨팅, Databricks 리소스, 분산 처리 환경을 다룬 경험이 포함됩니다.
- 합성 데이터 생성 파이프라인 개발 경험 또는 생성 모델을 대규모로 운영한 경험이 있으면 우대합니다.
- ML 연구팀의 학습 및 평가 데이터 지원 경험이 있으면 우대하며, 특히 멀티모달 모델 경험을 선호합니다.
- 보안, 사기 방지, 신뢰 및 안전, 기타 대항 분야 또는 시리즈 A·B 스타트업 근무 경험이 있으면 우대합니다.
- 지원 절차에서 미국 내 취업 허가가 요구됩니다.
- 현재 뉴욕시 또는 인근에 거주하지 않는 경우 근무 형태에 따라 이주할 의향이 있어야 합니다.
복리후생
- 직원 본인의 의료보험료를 전액 지원하며 부양가족 보험료는 일부 지원합니다.
- 직원과 부양가족의 치과 및 시력 보험료를 전액 지원합니다.
- 직원 본인의 단기·장기 장애 보험 및 생명보험료를 전액 지원합니다.
- 유연 지출 계좌와 건강 저축 계좌, 401(k) 프로그램을 제공합니다.
- 지분 보상.
- 연간 유급 휴가 20일.
- 12주 육아 휴가.
- 학습 및 역량 개발 예산.
- 월간 웰니스 혜택.
- 연례 회사 지원 오프사이트 행사.
- 뉴욕시 본사 직원에게 Uber Eats를 통한 매일 사무실 점심을 제공합니다.
- 뉴욕시 본사 직원에게 통근 혜택을 제공합니다.
- 뉴욕시 본사 직원은 금요일에 원격 근무할 수 있습니다.
- 뉴욕시 본사 직원은 해피아워 및 기타 지역 행사에 참여할 수 있습니다.
- 연간 성과 보너스 대상 자격이 있습니다.
