
自由职业数据工程师(Snowflake 迁移)
将 Emeria 的英国分析平台从 Azure Synapse 迁移至 Snowflake,重建数据摄取管道并转换 T-SQL 存储过程。 工作涵盖数据一致性检查、借助 LLM 转换代码,以及知识交接。
描述
- 负责管理 15 条 Azure Data Factory 管道,并使用 Fivetran、CDC 或增量提取脚本重建数据摄取流程。
- 将约 200 个 T-SQL 存储过程转换为 Snowflake,并由轻量级 Spark 层提供支持。
- 使用 LLM 工具加快代码转换和测试创建。
- 并行运行流程并核对数据,使其与现有报表保持一致。
- 记录工作内容并向英国团队移交知识。
- 协助将英国分析平台从 Azure Synapse 迁移至 Snowflake、Fivetran 和 Airflow(MWAA)。
任职要求
- 熟练掌握 Snowflake 和 Airflow。
- 具备将 T-SQL 或 MS SQL 存储过程转换为 Snowflake 的实际经验,包括 SCD2、事务、循环和 MERGE。
- 近期有在迁移项目中使用 LLM 翻译代码并生成测试的经验。
- 深入了解增量数据摄取方法,例如 delta 和 watermark。
- 英语流利。
- 能够独立工作并采取积极主动的工作方式。
- 了解 Spark 或 PySpark、Fivetran、Azure Synapse 或 Data Factory 者优先。
福利待遇
- 远程工作。
- 该项目可能会延期。
相关职位

