EUROPEAN DYNAMICS
EUROPEAN DYNAMICS
501 – 1,000 员工
咨询市场营销物流
EUROPEAN DYNAMICS 为全球各地的机构、组织和大型企业开发电子政务软件并提供 IT 服务。其业务组合包括电子民事登记和商业登记系统、财务数据管理系统、公共采购平台、云解决方案、咨询服务、定制软件开发和外包服务。公司还持续投入研发,专注于新兴信息与通信技术,并参与国际项目。EUROPEAN DYNAMICS 的业务遍及 47 个以上国家,重视其产品和服务的质量与安全性。

高级数据库分析工程师

为欧洲公共部门技术项目构建和优化 dbt、PySpark 与 Apache Iceberg 数据管道。 该混合办公职位位于布鲁塞尔,工作地点包括公司或客户办公场所。

描述

  • 构建可靠、可扩展的数据转换管道和工作流。
  • 提升 dbt 项目的性能并缩短执行时间。
  • 创建并记录 dbt 数据质量检查和控制测试。
  • 设置自动化回归测试与验证,以维持管道输出的质量和一致性。
  • 分享维护和演进 dbt 项目的团队实践。
  • 将业务需求和分析文档转化为可运行的数据转换管道。
  • 与开发团队及主要客户的 IT 团队在现场协作。

任职要求

  • 计算机科学、信息技术、系统工程或相关专业的大学学历,并具有至少 12 年相关 IT 工作经验。
  • 具备使用 dbt(最好是 dbt Core)的实践经验,能够设计、维护、测试、记录和扩展生产级分析转换项目。
  • 具备分析工程和现代数据建模经验,包括分层架构、可复用宏、数据质量控制和 CI/CD。
  • 具备编写 PySpark 转换代码以进行大规模数据处理的经验;Spark 作业优化经验更佳。
  • 具备 Apache Iceberg 实践经验,包括分区和架构演进、快照管理及时间旅行功能。
  • 具备 Dagster 等作业编排和调度工具的使用经验。
  • 深入了解 SAS ETL 和遗留代码库;将 SAS 工作流迁移至 dbt 的经验尤佳。
  • SQL 能力出色,熟悉复杂转换、性能优化和增量处理。
  • 深入理解 Apache Spark 执行机制、分区、文件布局优化和性能调优。
  • 熟悉将遗留系统迁移至 dbt 和 PySpark 时的数据验证、对账和测试。
  • 了解版本控制和协作开发,包括 Git、代码审查、发布管理及自动化部署流水线。
  • 英语熟练。

福利待遇

  • 薪酬具有竞争力,具体依据资历和经验确定。
  • 可选择承包工作,或选择包含完整福利的薪酬方案。
  • 申请流程保密。
  • 国际化、多语言、多元文化的工作环境。
  • 提供平等就业机会。

相关职位