
高级数据库分析工程师
为欧洲公共部门技术项目构建和优化 dbt、PySpark 与 Apache Iceberg 数据管道。 该混合办公职位位于布鲁塞尔,工作地点包括公司或客户办公场所。
描述
- 构建可靠、可扩展的数据转换管道和工作流。
- 提升 dbt 项目的性能并缩短执行时间。
- 创建并记录 dbt 数据质量检查和控制测试。
- 设置自动化回归测试与验证,以维持管道输出的质量和一致性。
- 分享维护和演进 dbt 项目的团队实践。
- 将业务需求和分析文档转化为可运行的数据转换管道。
- 与开发团队及主要客户的 IT 团队在现场协作。
任职要求
- 计算机科学、信息技术、系统工程或相关专业的大学学历,并具有至少 12 年相关 IT 工作经验。
- 具备使用 dbt(最好是 dbt Core)的实践经验,能够设计、维护、测试、记录和扩展生产级分析转换项目。
- 具备分析工程和现代数据建模经验,包括分层架构、可复用宏、数据质量控制和 CI/CD。
- 具备编写 PySpark 转换代码以进行大规模数据处理的经验;Spark 作业优化经验更佳。
- 具备 Apache Iceberg 实践经验,包括分区和架构演进、快照管理及时间旅行功能。
- 具备 Dagster 等作业编排和调度工具的使用经验。
- 深入了解 SAS ETL 和遗留代码库;将 SAS 工作流迁移至 dbt 的经验尤佳。
- SQL 能力出色,熟悉复杂转换、性能优化和增量处理。
- 深入理解 Apache Spark 执行机制、分区、文件布局优化和性能调优。
- 熟悉将遗留系统迁移至 dbt 和 PySpark 时的数据验证、对账和测试。
- 了解版本控制和协作开发,包括 Git、代码审查、发布管理及自动化部署流水线。
- 英语熟练。
福利待遇
- 薪酬具有竞争力,具体依据资历和经验确定。
- 可选择承包工作,或选择包含完整福利的薪酬方案。
- 申请流程保密。
- 国际化、多语言、多元文化的工作环境。
- 提供平等就业机会。
相关职位
