Swoop 高级数据工程师——多伦多混合办公
负责 NimbleRx 合规医疗数据平台,开发可扩展的数据管道、数仓模型和 AI 工具,为药房及患者互动运营提供支持。
描述
- 负责完整的数据平台生命周期,涵盖数据摄取、转换、存储、查询和访问
- 随着公司的数据需求不断增长,制定数据平台路线图
- 使用 PySpark/EMR、Kinesis、Lambda 和 Step Functions 构建并改进批处理与流处理管道
- 将 Postgres、Salesforce、外部供应商和产品事件流中的数据导入基于 Iceberg 的数据湖
- 为工程和分析团队定义 SCD 表、事件表及数据标准
- 与产品、工程、分析和运营团队合作,将数据需求转化为可靠的数据管道
- 创建文档和工具,使其他团队能够独立使用数据
- 管理安全与合规能力,包括审计日志、访问控制和临时访问流程
- 通过副本路由、索引、缓存及 I/O 监控,提升 Java/Spring 服务的后端查询性能
- 调查并解决 IOPS 峰值、管道故障、模式漂移和数据延迟问题
- 将 AI 应用于管道脚手架、模式开发和临时调查
- 交付供其他团队使用的内部 AI 工具
- 指导工程师和分析师有效使用数据平台
任职要求
- 至少五年构建生产级数据管道和数据平台的经验
- 具备高级 Python、PySpark 和 SQL 技能,包括大规模调优 Spark 工作负载
- 能够并愿意为围绕数据层的 Java 和 Spring Boot 服务做出贡献
- 具备分布式计算实践经验,例如 Spark/EMR;具备使用 Kinesis 进行流处理及使用 S3 对象存储的经验
- 深入掌握 Postgres,包括查询调优、索引、复制、副本路由和数据库瓶颈诊断
- 具备 Iceberg 和 Trino 或同类技术的经验
- 熟悉 CI/CD 和 Terraform
- 具备使用 AI、前沿模型或智能代理编码工具进行开发的经验
- 能够与产品、运营及其他团队开展协作,并有相关实践证明
- 目前获准在加拿大工作者优先
- 愿意将安全以及 PII/PHI 处理视为核心工程职责
福利待遇
- 职业发展机会
- 混合办公安排
- 对于具备专业技能的高素质候选人,可酌情考虑签证赞助
