Emeria Technologies
Emeria Technologies
Emeria Technologies 在欧洲提供住宅和商业房地产服务,在整个房产生命周期内为业主、租户、投资者和企业提供支持。其服务涵盖房产收购、租赁、出租、公寓楼管理和销售,通过本地分支网络与技术赋能的运营模式交付。集团采用多品牌模式,在欧洲八个国家开展业务,其中包括法国的 Foncia,拥有一支规模庞大的团队,为个人消费者和企业客户提供服务。

自由职业数据工程师(Snowflake 迁移)

将 Emeria 的英国分析平台从 Azure Synapse 迁移至 Snowflake,重建数据摄取管道并转换 T-SQL 存储过程。 工作涵盖数据一致性检查、借助 LLM 转换代码,以及知识交接。

描述

  • 负责管理 15 条 Azure Data Factory 管道,并使用 Fivetran、CDC 或增量提取脚本重建数据摄取流程。
  • 将约 200 个 T-SQL 存储过程转换为 Snowflake,并由轻量级 Spark 层提供支持。
  • 使用 LLM 工具加快代码转换和测试创建。
  • 并行运行流程并核对数据,使其与现有报表保持一致。
  • 记录工作内容并向英国团队移交知识。
  • 协助将英国分析平台从 Azure Synapse 迁移至 Snowflake、Fivetran 和 Airflow(MWAA)。

任职要求

  • 熟练掌握 Snowflake 和 Airflow。
  • 具备将 T-SQL 或 MS SQL 存储过程转换为 Snowflake 的实际经验,包括 SCD2、事务、循环和 MERGE。
  • 近期有在迁移项目中使用 LLM 翻译代码并生成测试的经验。
  • 深入了解增量数据摄取方法,例如 delta 和 watermark。
  • 英语流利。
  • 能够独立工作并采取积极主动的工作方式。
  • 了解 Spark 或 PySpark、Fivetran、Azure Synapse 或 Data Factory 者优先。

福利待遇

  • 远程工作。
  • 该项目可能会延期。

相关职位