
高级数据工程师
为 Redica Systems 的生命科学监管情报平台构建并维护可扩展的数据管道。 连接海量监管数据与自然语言处理、机器学习服务及搜索技术。
描述
- 为监管机构和卫生机构的海量数据构建并维护可扩展的数据管道、API 和微服务
- 调查数据质量问题,并建立自动化测试、监控和验证机制
- 参与制定数据平台的技术设计和架构
- 将数据管道连接到自然语言处理、机器学习服务和搜索工具,包括 ELK 技术栈
- 支持生产环境发布,并诊断管道和数据库问题
- 处理复杂的技术事件
- 与工程和产品团队合作,将需求转化为技术解决方案
- 指导其他工程师
- 审查代码并提供技术指导
任职要求
- 高级数据工程师经验
- 能够设计、构建、优化和维护可扩展的 ETL/ELT 管道、API 和微服务
- 具有处理海量监管机构和卫生机构数据集的经验
- 能够调查数据质量问题
- 具有实施自动化测试、监控和验证的经验
- 能够参与技术设计和架构决策
- 具有开发可扩展且易于维护的数据平台解决方案的经验
- 具有将数据管道连接到下游自然语言处理、机器学习服务和搜索技术的经验
- 具有 ELK 技术栈经验
- 能够支持生产环境发布并排查管道和数据库问题
- 能够解决复杂的技术事件
- 能够与工程和产品团队协作
- 能够预见并采用技术创新
- 能够综合复杂信息并制定有效的问题解决策略
- 具备可靠且及时的决策能力
- 能够优化 ETL 流程和数据仓库
- 能够持续改进性能并交付数据相关工作
福利待遇
- 远程工作
- 导师指导机会
- 代码审查并提供技术指导的机会





