数据工程师(SQL Server、Spark 与 GCP)
合同制数据工程师,使用 SQL Server、Spark 和 Python 开发 ETL/ELT 流水线。 专注于 GCP 数据现代化与迁移,工作安排为圣保罗混合办公。
描述
- 构建、维护并优化 SQL Server、Spark 和 NoSQL 平台上的 ETL/ELT 流程。
- 使用 PySpark 将数据处理程序和加载任务从 SQL Server 迁移到 Spark。
- 编写 Python 脚本并实现自动化。
- 遵循数据治理和性能最佳实践,建立数据模型并整理数据。
- 与架构师、分析师和测试人员合作,维护数据质量与完整性。
- 参与 GCP 云端数据迁移和现代化项目。
任职要求
- 精通 ANSI SQL、数据建模和关系型数据库。
- 具备 SQL Server 和 Spark(包括 PySpark)经验。
- 了解 Python 和 NoSQL。
- 了解 ETL/ELT 概念和数据工程实践。
- 具备 Google Cloud Platform(GCP)经验。
- 具备出色的书面和口头沟通能力、分析思维和解决问题能力。
- 具备 QlikView、Qlik Sense 或 Qlik Cloud 等 BI 工具经验者优先。
- 具备云数据迁移和现代化项目经验者优先。
- 积极主动、善于分析与协作,具备技术独立性,并能连接业务与技术。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
