Swoop 高级数据工程师——加州混合办公
在 Swoop 的人工智能驱动医疗互动业务中,负责 NimbleRx 的数据平台。构建涵盖批处理、流处理和后端服务的合规数据管道、数仓模型与性能系统。
描述
- 负责完整的数据平台,涵盖数据摄取、转换、存储、查询和访问
- 随着公司的数据需求增长,制定数据平台路线图
- 使用 PySpark、EMR、Kinesis、Lambda 和 Step Functions 开发并改进批处理与流处理管道
- 将来自 Postgres、Salesforce、外部供应商和产品事件的数据导入基于 Iceberg 的数据湖
- 为工程和分析团队建立 SCD 表、事件模型及共享数据标准
- 与产品、工程、分析和运营团队合作,将数据需求转化为可靠的数据管道
- 创建支持数据自助使用的文档和工具
- 负责数据安全与合规,包括审计跟踪、访问控制和临时访问流程
- 通过在 Java 和 Spring 服务中进行副本路由、索引、缓存及 I/O 监控,提升后端查询性能
- 诊断并解决 IOPS 激增、管道中断、架构变更和数据延迟问题
- 将人工智能应用于管道脚手架、架构开发和调查,同时交付内部人工智能工具
- 指导工程师和分析师有效使用数据平台
任职要求
- 至少五年交付生产数据管道和数据平台的经验
- 具备高级 Python、PySpark 和 SQL 技能,包括大规模 Spark 性能调优能力
- 能够并愿意使用 Java 和 Spring Boot 开发围绕数据层的服务
- 具备分布式处理技术的实际经验,例如 Spark 和 EMR;具备使用 Kinesis 进行流处理以及使用 S3 对象存储的经验
- 精通 Postgres,包括查询优化、索引、复制、副本路由和数据库瓶颈分析
- 具备 Iceberg 和 Trino 或同类技术的经验
- 了解 CI/CD 实践和 Terraform
- 具备使用前沿模型或智能编码工具构建人工智能解决方案的经验
- 展现出与产品、运营及其他团队协作的能力
- 具备将安全以及 PII/PHI 合规视为核心工程职责的专业经验
福利待遇
- 提供职业发展和专业成长机会
- 公司曾被评为最佳工作场所;该荣誉不属于个人薪酬福利
