Swoop 시니어 데이터 엔지니어—토론토 하이브리드
NimbleRx의 규정을 준수하는 헬스케어 데이터 플랫폼을 이끌며, 약국 및 환자 참여 운영을 지원하는 확장 가능한 파이프라인, 데이터 웨어하우스 모델, AI 도구를 개발합니다.
설명
- 데이터 수집과 변환부터 저장, 쿼리, 액세스까지 데이터 플랫폼의 전체 수명 주기를 담당합니다
- 회사의 데이터 요구 사항이 확장됨에 따라 데이터 플랫폼 로드맵을 수립합니다
- PySpark/EMR, Kinesis, Lambda, Step Functions를 사용해 배치 및 스트리밍 파이프라인을 구축하고 개선합니다
- Postgres, Salesforce, 외부 공급업체, 제품 이벤트 스트림의 데이터를 Iceberg 기반 데이터 레이크로 가져옵니다
- 엔지니어링 및 분석 팀을 위한 SCD 테이블, 이벤트 테이블, 데이터 표준을 정의합니다
- 제품, 엔지니어링, 분석, 운영 파트너와 협력해 데이터 요구 사항을 신뢰할 수 있는 파이프라인으로 전환합니다
- 다른 팀이 데이터를 독립적으로 활용할 수 있도록 문서와 도구를 만듭니다
- 감사 로그, 액세스 제어, 임시 액세스 프로세스를 포함한 보안 및 규정 준수 기능을 관리합니다
- 복제본 라우팅, 인덱싱, 캐싱, I/O 계측을 통해 Java/Spring 서비스의 백엔드 쿼리 성능을 개선합니다
- IOPS 급증, 파이프라인 장애, 스키마 드리프트, 데이터 지연을 조사하고 해결합니다
- 파이프라인 스캐폴딩, 스키마 개발, 애드혹 조사에 AI를 적용합니다
- 다른 팀이 사용할 수 있는 내부 AI 도구를 제공합니다
- 엔지니어와 분석가가 데이터 플랫폼을 효과적으로 활용하도록 코칭합니다
지원 자격
- 프로덕션 데이터 파이프라인과 데이터 플랫폼을 구축한 경력이 5년 이상이어야 합니다
- 고급 Python, PySpark, SQL 역량이 있으며 대규모 Spark 워크로드를 튜닝할 수 있어야 합니다
- 데이터 계층을 둘러싼 Java 및 Spring Boot 서비스에 기여할 능력과 의지가 있어야 합니다
- Spark/EMR 등의 분산 컴퓨팅, Kinesis를 통한 스트리밍, S3 객체 스토리지에 대한 실무 경험이 있어야 합니다
- 쿼리 튜닝, 인덱싱, 복제, 복제본 라우팅, 데이터베이스 병목 진단을 포함한 Postgres에 대한 높은 이해도가 있어야 합니다
- Iceberg와 Trino 또는 이에 준하는 기술 경험이 있어야 합니다
- CI/CD와 Terraform에 익숙해야 합니다
- AI, 프런티어 모델 또는 에이전트형 코딩 도구를 활용한 개발 경험이 있어야 합니다
- 제품, 운영 및 기타 팀과 협업할 수 있는 능력을 입증해야 합니다
- 현재 캐나다에서 근무할 수 있는 자격을 보유한 지원자를 강력히 선호합니다
- 보안과 PII/PHI 처리를 핵심 엔지니어링 책임으로 받아들일 의지가 있어야 합니다
복리후생
- 전문성 개발 기회
- 하이브리드 근무 방식
- 전문 기술을 갖춘 매우 우수한 지원자에 한해 예외적으로 비자 후원을 고려할 수 있습니다
