
高级数据库分析工程师
使用 dbt、PySpark 和 Iceberg 构建可扩展的数据管道。 通过分析工程、测试及从传统 SAS 系统迁移,为欧洲机构提供支持。
描述
- 构建可扩展且可靠的数据转换管道和工作流
- 提升 dbt 项目的性能并缩短执行时间
- 使用 dbt 创建并记录数据质量检查和控制测试
- 建立自动化回归测试和验证流程
- 分享维护和迭代 dbt 项目的团队实践
- 将业务需求和分析文档转化为可运行的数据转换管道
- 与开发团队及主要客户的现场 IT 团队协作
- 在公司或客户场所工作
任职要求
- 计算机科学、信息技术、系统工程或相关领域的大学学历
- 至少 12 年相关 IT 工作经验
- 具备在生产级分析转换项目中使用 dbt 的实践经验,优先考虑 dbt Core
- 具备分析工程和现代数据建模经验,包括分层架构、可复用宏、数据质量控制及 CI/CD
- 具备编写 PySpark 转换代码以处理大规模数据的经验
- 掌握 Apache Iceberg 实践知识,包括分区和架构演进、快照管理及时间旅行
- 具备 Dagster 等编排和调度工具的使用经验
- 深入了解 SAS ETL 和传统代码库
- 具备高级 SQL 技能,包括复杂转换、性能调优和增量处理
- 了解 Apache Spark 执行机制、分区、文件布局优化及性能调优
- 具备扎实的数据验证、对账和测试能力
- 了解版本控制和协作式开发,包括 Git、代码审查、发布管理及自动化部署管道
- 英语能力优秀
福利待遇
- 薪酬根据资历和经验确定
- 可选择合同安排,或选择包含完整福利待遇的薪酬方案
- 对应聘申请保密处理
- 提供平等就业机会
- 国际化、多语言、多元文化的工作环境
- 在充满活力的公司获得职业发展机会
相关职位
